Erişim kayıtlarınızda dün gelen 40.000 istek var ve hepsinde aynı satır yazıyor: ExampleBot/1.0 (+https://bot.example/about). Bir kısmı botun sahibinin yayımladığı adres aralıklarından, pek çoğu bir bulut sağlayıcısının ortak aralığından, birkaçı da ev bağlantılarından geliyor. Hangileri gerçek crawler (tarama botu), hangileri onun adını kullanan başkaları? User-Agent satırı bunu söyleyemez: o satırı her istemci istediği gibi yazabilir.
Web Bot Auth, internetin pek çok protokolünü yazan IETF'in (Internet Engineering Task Force) şu anda standart hâline getirdiği çözümdür: bot her isteği özel anahtarıyla imzalar, siteniz de imzayı botun sahibinin yayımladığı açık anahtarla kontrol eder. Bu yazıda Web Bot Auth'un ne olduğunu ve standardın hangi aşamada bulunduğunu, eski kontrollerin neden yetmediğini, imzalı bir isteğin neye benzediğini, bugün kimlerin desteklediğini, site sahipleri ve bot geliştiricileri için ne anlama geldiğini ve bir imzanın neyi kanıtlamadığını anlatıyoruz.
Web Bot Auth nedir?
Web Bot Auth, otomatik bir istemcinin HTTP isteklerini imzaladığı, isteği alan sitenin de bu imzayla gönderen işletmeciyi doğrulayabildiği bir protokoldür. Temelinde HTTP Message Signatures (HTTP mesaj imzaları) vardır: bir HTTP mesajının seçilen kısımlarını imzalamak için Şubat 2024'te RFC 9421 numarasıyla yayımlanan bir IETF standardı. Web Bot Auth buna bota özgü kuralları ekler: hangi kısımların imzalanacağını, sabit bir tag değerini, işletmecinin anahtarlarını gösteren bir başlığı ve bu anahtarların yayımlanma biçimini.
Web Bot Auth aynı zamanda bir IETF çalışma grubunun, webbotauth grubunun adıdır. Grubun görev tanımı (charter) arama motorlarının crawler'larını, web arşivleyicilerini, bağlantı denetleyicilerini, yapay zekâ eğitimi için veri toplayan crawler'ları ve bir kullanıcı adına çalışan yapay zekâ ajanlarını kapsar. Odak, ağırlıklı olarak insanlara hizmet veren sitelerdir; servisler arası API kimlik doğrulaması ve insan kullanıcıların oturum açması kapsam dışındadır.
19 Kasım 2026 itibarıyla grubun benimsediği tek belge, HTTP Message Signatures for automated traffic adlı Internet-Draft'tır (draft-ietf-webbotauth-httpsig-protocol-01, 29 Ekim 2026). Yazarları Cloudflare ve Google'da çalışıyor, belge de standart sürecini (Standards Track) hedefliyor. Biri mimariyi, öbürü anahtar dizinini anlatan iki eski taslağın yerini aldı. Internet-Draft üzerinde çalışılmaya devam edilen bir belgedir; başlık adları ve kurallar hâlâ değişebilir.
User-Agent ve IP listeleri neden yetmiyor?
User-Agent başlığı da IP izin listeleri de bir botu başka istemcilerin kopyalayabildiği ya da paylaştığı bilgilerle tanır; bu yüzden ikisi de isteği kimin gönderdiğini kanıtlamaz. User-Agent, istemcinin kendi yazdığı bir metin satırıdır; nasıl oluştuğunu User-Agent Nedir, Nasıl Öğrenilir ve Değiştirilir? yazısında anlattık. Kurallara uyan bir crawler oraya adını ve bilgi sayfasının adresini yazar, ama başka bir istemcinin aynı satırı yazmasını hiçbir şey engellemez.
Test makinemizde 127.0.0.1 üzerinde, gelen istek başlıklarını olduğu gibi geri döndüren küçük bir sunucu çalıştırdık ve ona curl -A "ExampleBot/1.0 (+https://example.com/bot)" ile istek gönderdik. Sunucu User-Agent olarak tam bu satırı aldı; istekte onu example.com'a bağlayan hiçbir şey yoktu.
IP listeleri daha güçlüdür ama üç yaygın durumda işe yaramaz. Ortak bulut altyapısında çalışan botlar, başka müşterilerin de kullandığı adreslerden çıkar. Bir kullanıcı adına çalışan yapay zekâ ajanları o kullanıcının tarayıcısında çalışabilir; bu durumda istek ev ya da ofis adresinden çıkar. Ayrıca işletmeciler adres aralıklarını değiştirir; geçen ayın listesi bugün yanlış olabilir.
Büyük crawler'lar için klasik kontrol, ileri yönde doğrulanan ters DNS'tir (forward-confirmed reverse DNS). Site, IP'nin arkasındaki ana makine adını bulur, adın işletmecinin alan adına ait olduğunu kontrol eder, sonra bu adı yeniden çözümleyip aynı IP'ye çıktığını doğrular. Kendi adres bloğuna sahip işletmecilerde işe yarar; ortak bir bulut adresindeki ya da bir kullanıcının dizüstü bilgisayarındaki ajanda yaramaz.
Web Bot Auth nasıl çalışır?
Web Bot Auth, botun tarafında bir imzalama adımı, sitenin tarafında da anahtarı bulma ve doğrulama adımıyla çalışır:
- İşletmeci bir anahtar çifti üretir. Özel anahtar botta kalır. Kısa anahtarlı, modern bir imza algoritması olan Ed25519, taslağın örneklerinde kullanılır ve Cloudflare'in kabul ettiği algoritmadır.
- İşletmeci açık anahtarı yayımlar. Anahtar, HTTPS üzerinden sunulan bir JSON Web Key Set (JWKS) dosyasına, yani anahtar dizinine konur. Taslak bunun için standart bir adres yolu (well-known yolu) da tanımlar:
/.well-known/http-message-signatures-directory. - Bot her isteği imzalar. İmza en az ana makine adını (
@authority) ya da hedef adresin tamamını veSignature-Agentbaşlığını kapsar. Bot bunlara bir oluşturma zamanı, bir son geçerlilik zamanı, bir anahtar kimliği veweb-bot-authetiketini ekleyip imzalar. - Bot üç ek başlık gönderir.
Signature-Inputneyin imzalandığını listeler,Signatureimzanın kendisini taşır,Signature-Agentise anahtar dizininin adresini verir. - Site anahtarı indirir. Doğrulayıcı, çoğu zaman bir CDN ya da web uygulama güvenlik duvarı (WAF), dizini indirir, önbelleğe alır ve
keyiddeğeriyle eşleşen anahtarı seçer. - Site doğrular ve karar verir. Aldığı istekten imzalanan veriyi yeniden kurar, imzayı ve zaman aralığını kontrol eder, sonra kendi politikasını uygular: geçirir, hız sınırı koyar ya da engeller.
İmza ana makine adını kapsadığı için bir site için atılan imza başka bir sitede doğrulanmaz; taslak ayrıca imzanın 24 saat içinde sona ermesini önerir.
İmzalı bir istek neye benzer?
İmzalı bir istek, üç başlığı fazla olan sıradan bir HTTP isteğidir. Aşağıdaki örnekte bot.example adresindeki hayalî bir bot, shop.example sitesinden bir sayfa istiyor; değerler uydurmadır ve kısaltılmıştır.
GET /products HTTP/1.1
Host: shop.example
User-Agent: ExampleBot/1.0 (+https://bot.example/about)
Signature-Agent: sig1="https://bot.example/.well-known/http-message-signatures-directory"
Signature-Input: sig1=("@authority" "signature-agent";key="sig1");created=1795046400;expires=1795050000;keyid="x7Qp…3kLa";tag="web-bot-auth"
Signature: sig1=:jR3x…Q2Bw==:sig1 etiketi üç başlığı birbirine bağlar; böylece bir istek birden fazla imza taşıyabilir. created ve expires değerleri Unix zaman damgasıdır, burada aralarında bir saat var.
| Başlık | Ne taşır? | Kim okur? |
|---|---|---|
Signature-Agent | Anahtar dizininin adresi | Doğrulayıcı: anahtarı bulur |
Signature-Input | İmzalananlar, zamanlar, anahtar kimliği, etiket | Doğrulayıcı: veriyi kurar |
Signature | İmzanın kendisi | Doğrulayıcı: kontrol eder |
User-Agent | Bot adı ve bilgi adresi | Kayıtlar ve insanlar |
keyid, anahtarın JWK parmak izidir (thumbprint), yani açık anahtarın SHA-256 özetidir. Test makinemizde Node.js ile ürettiğimiz tek kullanımlık bir Ed25519 anahtarı 43 karakterlik bir anahtar kimliği ve 64 baytlık, base64 ile 88 karakter tutan bir imza verdi. İmzalanan ana makine adını shop.example yerine shop.example.net yaptığımızda doğrulama başarısız oldu.
Eski ve yeni kontroller nasıl karşılaştırılır?
Web Bot Auth, kimlik kanıtını ağ adresinden alıp işletmecinin denetimindeki bir anahtara taşır.
| Kontrol | Sitenin baktığı şey | Nerede bozulur? |
|---|---|---|
| User-Agent | Bir metin başlığı | Herkes kopyalayabilir |
| IP izin listesi | Kaynak adres | Ortak bulut, kullanıcı cihazı |
| Ters DNS | IP'nin ana makine adı | Kendi IP bloğu gerekir |
| Web Bot Auth | Bir imza ve bir anahtar | Sitenin doğrulaması gerekir |
Uygulamada bu kontroller birbirinin yerine geçmez, üst üste kullanılır: Google, henüz her istek imzalı olmadığı için imzanın yanında IP, ters DNS ve user-agent kontrollerini sürdürmeyi öneriyor.
Geçerli bir imza neyi kanıtlar, neyi kanıtlamaz?
Geçerli bir imza yalnızca isteğin, Signature-Agent adresindeki dizinde listelenen bir anahtarla imzalandığını kanıtlar, fazlasını değil. Taslak bunu açıkça söyler: imza, ajanı kimin işlettiğini, ajanın zararsız olup olmadığını ya da isteğin yetkili olup olmadığını göstermez.
- Kimlik izin demek değildir. Doğrulanmış bir bot da hız sınırına takılabilir, bazı yollardan uzak tutulabilir ya da engellenebilir; robots.txt ve sitenin kullanım koşulları geçerliliğini korur.
- Kimlik, dizinin sahibidir. Bir anahtar çalınırsa, işletmeci onu dizinden kaldırana kadar o anahtarla imzalanan istekler doğrulanır.
- İmzalı istekler birbirine bağlanabilir. Siteler aynı kimliği taşıyan istekleri ilişkilendirebilir; bu yüzden protokol, anonim kalması gereken ajanlara uygun değildir.
Web Bot Auth, ajanın indirdiği içerikle ne yaptığını da kapsamaz: doğrulanmış bir ajan da sayfaya gizlenmiş talimatlarla yanıltılabilir; bu, prompt injection adı verilen ayrı bir risktir.
Web Bot Auth'u bugün kimler destekliyor?
19 Kasım 2026 itibarıyla Cloudflare ve AWS WAF Web Bot Auth imzalarını doğruluyor, Google ajanlarından birinin trafiğini kısmen imzalıyor, Shopify da botlardan imza istiyor. Ayrıntılar taslakla birlikte değişiyor; her sağlayıcının güncel sayfasına bakın.
- Cloudflare. Cloudflare'in Web Bot Auth belgelerine göre şirket, Verified bots (doğrulanmış botlar) programındaki botları bu yöntemle doğruluyor: işletmeci bir anahtar dizini yayımlar, onu kaydettirir ve Ed25519 ile imzalar. 1 Temmuz 2026'dan beri imzalı ajanlar da Verified bots altında yer alıyor.
- AWS WAF. AWS WAF Bot Control kural grubu, 4.0 sürümünden itibaren imzaları kontrol eder ve her isteği sonuca göre
verified,invalid,expiredya daunknown_botetiketiyle işaretler; site sahipleri kurallarını bu sonuca göre yazar. - Google. Google, Web Bot Auth sayfasında uygulamasını deneysel olarak tanımlıyor:
Google-Agentisteklerinin bir kısmıhttps://agent.bot.googkimliğiyle imzalanıyor. - Shopify. Shopify'ın Mayıs 2026 tarihli geliştirici değişiklik notu, mağazalara gelen bot ve ajanlardan istekleri Web Bot Auth ile imzalamalarını istiyor; imzasız trafik en sıkı hız sınırına tabi.
Web Bot Auth site sahipleri için ne anlama geliyor?
Site sahipleri için Web Bot Auth, "Bu gerçekten o bot mu?" sorusunu tahmin olmaktan çıkarıp bir kontrole dönüştürür; işin büyük kısmı da uygulamanızda değil, CDN'de ya da güvenlik duvarında yapılır.
Makul bir başlangıç politikası şöyledir: istediğiniz doğrulanmış crawler'ları normal hızda geçirin; imzasız otomasyona toptan engel yerine daha düşük bir hız sınırı uygulayın, çünkü botların çoğu henüz imza atmıyor. invalid ve expired sonuçlarını izleyin; bunlar hatalı kurulumlara ya da kopyalanmış başlıklara işaret eder. İmzaları kendiniz doğruluyorsanız anahtar dizinlerini önbelleğe alın, dizini indirirken yönlendirmeleri izlemeyin ve korunan yollara gelen imzasız isteklere, taslağın önerdiği gibi, 403 ile birlikte bir Accept-Signature başlığı döndürün.
İmzalı kimlik, yayımladığınız tercihleri uygulamayı da kolaylaştırır. Hangi botun hangi yolları tarayabileceğini robots.txt söyler; kurallarını robots.txt Dosyası Nedir, Nasıl Okunur? yazısında anlattık. Web Bot Auth ise bu kurallara uyduğunu söyleyen botun gerçekten o bot olup olmadığını kontrol etmenizi sağlar.
Bot ve ajan geliştiricileri için ne anlama geliyor?
Crawler ve ajan işletenler için Web Bot Auth, her sitenin sizin için ayrı bir IP listesi tutmasına gerek kalmadan tanınmanın yoludur; karşılığında anahtar yönetimi gerektirir.
- Kimlikleri ayırın. Taslağa göre crawler ile kullanıcı adına çalışan ajan farklı
Signature-Agentadresleri, anahtarlar ve dizinler kullanmalıdır. - İmzaları kısa ömürlü tutun.
expiresdeğerinicreateddeğerine yakın tutun. - Anahtarları yenileyin. Yeni anahtarı kullanmaya başlamadan önce yayımlayın, sonra eskisini kaldırın.
- Özel anahtarı koruyun. Onu her kimlik bilgisi gibi özenle saklayın; bu iş için paylaşılan gizli anahtara (HMAC) izin verilmez.
- Nezaket kurallarını sürdürün. Açık bir
User-Agent, robots.txt'ye uymak ve makul istek hızı hâlâ önemlidir.
Kullanıcı adına alışveriş ya da ödeme yapan ajanlarda imza işin yalnızca yarısıdır; ödeme tarafını AI Alışveriş Ajanları Neden Sitelerde Engelleniyor? yazısında anlattık.
Proxy, Web Bot Auth'ta botun kimliğini değiştirir mi?
Hayır. Web Bot Auth'ta botun kimliği trafiğin çıktığı IP adresinde değil, anahtarındadır; bu yüzden proxy isteğin nereden çıkacağını belirler, botun kim olduğunu değil. Taslak, imzanın IP'ye bağlı olmadığını ve bir proxy'nin imza başlıklarını silmemesi gerektiğini belirtir. HTTPS'te proxy yalnızca şifreli bağlantıyı tünel üzerinden taşır; imzalı başlıklar siteye botun gönderdiği hâliyle ulaşır.
Bu ayrım crawler ekipleri için kullanışlıdır: imza "Bu kim?" sorusunu, çıkış konumu ise "Bu sayfa Almanya'daki ya da Brezilya'daki ziyaretçiye ne gösteriyor?" sorusunu cevaplar. İkinci soru, örneğin yerelleştirilmiş fiyatları kontrol ederken önem kazanır. Web crawler proxy sayfamız, bu tür nazik taramalar için coğrafi hedeflemeyi ve istekler arasındaki ayarlanabilir bekleme süresini anlatıyor.
Bir crawler'ın sabit ve bilinen bir çıkış adresine ihtiyacı olduğunda, örneğin kendi sitelerinizdeki bir güvenlik duvarı kuralıyla eşleşmesi gerektiğinde, Datacenter Proxy size özel IPv4 adresleri verir. Her iki durumda da proxy üzerinden gelen imzalı bir istek, sitenin kendi politikasına tabi olmaya devam eder.
Web Bot Auth ile nerelerde karşılaşırsınız?
- CDN ve güvenlik duvarı panelleri: doğrulanmış bot kategorileri, imza sonuçları ve bunlara göre yazılan kurallar.
- Arama ve yapay zekâ crawler'ları: anahtar dizinlerini crawler belgelerinin yanında yayımlayan işletmeciler.
- Kullanıcı adına çalışan yapay zekâ ajanları: isteklerinin bir kısmını ya da tamamını imzalayan gezinme ve alışveriş ajanları.
- Mağaza platformları: imzalı botlara daha yüksek hız sınırı tanıyan vitrinler.
- İzleme ve bağlantı denetimi: saldırılardan ayırt edilmek isteyen çalışma süresi (uptime) izleyicileri.
Sık yapılan hatalar
- Web Bot Auth'u RFC sanmak. Web Bot Auth, RFC 9421 üzerine kurulu bir çalışma grubu taslağıdır ve hâlâ değişebilir.
- Geçerli imzayı izin saymak. İmza anahtarı kanıtlar; iyi niyeti ya da tarama hakkını değil.
- İmzasız bütün botları engellemek. Otomatik trafiğin çoğu henüz imzalı değil; hız sınırı daha yumuşak bir ilk adımdır.
- Eski kontrolleri bırakmak. Google bile geçiş sürecinde IP, ters DNS ve user-agent kontrollerinin sürmesini öneriyor.
- Uzun ömürlü imzalar. Günlerce geçerli bir imza, kopyalanmış başlıklara daha uzun ömür verir.
- Her şey için tek anahtar. Crawler ile kullanıcı adına çalışan ajan aynı kimliği paylaşmamalıdır.
Karar rehberi
| Durumunuz | Ne yapmalı? |
|---|---|
| Siteniz bir CDN ya da WAF arkasında | İmza kontrolünü açın, kuralları sonuca göre yazın |
| Kayıtlarınız sahte crawler trafiğiyle dolu | Doğrulanmış botları geçirin, ötekilere hız sınırı koyun |
| Bir crawler işletiyorsunuz | Anahtar dizini yayımlayın, her isteği imzalayın |
| Kullanıcılar adına çalışan bir ajanınız var | Crawler'ınızdan ayrı bir anahtar ve dizin kullanın |
| İmzaları kendiniz doğruluyorsunuz | Dizinleri önbelleğe alın, yönlendirme izlemeyin, süreleri kısa tutun |
| Sabit ya da yerel bir çıkış IP'si gerekiyor | Proxy kullanın; imza aynı kalır |
Sıkça sorulan sorular
Web Bot Auth resmî bir standart mı?
Henüz değil. IETF Web Bot Auth çalışma grubunun standart sürecini hedefleyen bir Internet-Draft'ıdır. Altındaki imzalama yöntemi olan HTTP Message Signatures ise zaten bir standarttır: RFC 9421.
Web Bot Auth, Cloudflare'in doğrulanmış botlarıyla aynı şey mi?
Hayır. Web Bot Auth, herhangi bir sitenin, CDN'in ya da güvenlik duvarının doğrulayabileceği açık bir protokoldür. Cloudflare'in Verified bots programı onu, yayımlanmış IP listeleri ve ters DNS gibi başka kontrollerin yanında kullanan yerlerden biridir.
AWS WAF, Web Bot Auth'u destekliyor mu?
Evet. AWS WAF Bot Control, kural grubunun 4.0 sürümünden itibaren imzaları doğrular ve sonucu verified ya da unknown_bot gibi bir etiketle isteğe ekler; kendi kurallarınız bu etikete göre işlem yapabilir.
Web Bot Auth ile imzalamak için Cloudflare gerekir mi?
Hayır. Gereken şey bir anahtar çifti, denetiminizdeki bir HTTPS adresinde duran bir anahtar dizini ve botunuzda imzalama kodudur. Örneğin Shopify, mağazalarına gelen istekleri imzalamak için botların Cloudflare'e kaydolması gerekmediğini belirtiyor.
Web Bot Auth, robots.txt'nin yerini alır mı?
Hayır. robots.txt botlara hangi yolları tarayabileceklerini söyler; Web Bot Auth ise siteye hangi botun sorduğunu söyler. İkisi birlikte çalışır.
İmzalı bir istek kopyalanıp yeniden kullanılabilir mi?
Yalnızca dar sınırlar içinde. İmza ana makine adını kapsadığı için başka bir sitede başarısız olur ve bir son geçerlilik zamanı taşır. Daha sıkı koruma isteyen siteler tek kullanımlık bir değer olan nonce isteyip daha önce gördükleri imzaları reddedebilir.
Özet
Web Bot Auth, botlara ve yapay zekâ ajanlarına doğrulanabilir bir kimlik verir: işletmeci açık anahtarını yayımlar, bot her isteği HTTP Message Signatures ile imzalar, site de bir User-Agent satırına ya da IP listesine güvenmek yerine imzayı kontrol eder. Hâlâ bir IETF taslağıdır; Cloudflare ve AWS WAF onu şimdiden doğruluyor, Google da deniyor. İmza kimin sorduğunu kanıtlar, neye izni olduğunu değil; bu yüzden robots.txt, hız sınırları ve sitenin politikaları belirleyici olmayı sürdürür. Crawler'ınızın isteklerinin nereden çıkacağı ise ayrı bir sorudur; o taraf için proxy hizmetlerimize göz atabilirsiniz.




