Bot Tespiti Nasıl Yapılır? Anti-Bot Sistemlerinin Mantığı

Bir e-ticaret sitesinin yöneticisi sabah raporuna bakıyor: gece üçte ziyaretçi sayısı dört katına çıkmış, sepete ekleme sayısı hiç değişmemiş, giriş sayfasında binlerce başarısız deneme var. Bu trafiğin ne kadarı arama motoru, ne kadarı fiyat karşılaştırma servisi, ne kadarı çalıntı parola deneyen bir betik? Bot tespiti, site sahibinin bu soruya her istek için, milisaniyeler içinde cevap verme çabasıdır.

Bu yazıda bot tespitini site sahibinin gözünden anlatıyoruz: bir istek hangi katmanlardan geçer, her katman neyi ölçer, sinyaller nasıl tek bir puana dönüşür ve bu puan yanıldığında bedelini kim öder. Altı katmanı sırayla özetliyor, ayrıntıyı her katmanın kendi yazısına bırakıyoruz. Headless tarayıcıların nasıl tanındığı, iyi botların kendini nasıl kanıtladığı ve otomasyon işleten biri için meşru yol da burada. Korumaları aşmanın yolları bu yazının konusu değildir.

Bot tespiti nedir?#

Bot tespiti, bir siteye gelen isteğin bir insanın kullandığı tarayıcıdan mı yoksa otomatik bir programdan mı geldiğini ayırt etme işidir. Bu işi yapan yazılımlara anti-bot sistemi, bot koruması ya da bot yönetimi denir; çoğu, sitenin kendi kodunda değil önündeki CDN'de ya da web uygulama güvenlik duvarında (WAF) çalışır. Cloudflare, Akamai ve DataDome bu alanda adı sık geçen sağlayıcılardır. Sistem iki soruya cevap arar: istek otomatik mi, otomatikse istenen türden mi?

Bot trafiği nedir: iyi bot ile kötü bot nasıl ayrılır?#

Bot trafiği, bir insanın tıklamasıyla değil bir programın kararıyla üretilen her istektir. Günlüklerde üç türü yan yana durur:

• Sitenin istediği botlar. Arama motoru tarayıcıları, çalışma süresini izleyen servisler, bağlantı önizlemesi üreten mesajlaşma uygulamaları, sitenin kendi test otomasyonu.
• Sitenin tartarak karşıladığı botlar. Fiyat karşılaştırma servisleri, arşivleme araçları, yapay zekâ tarayıcıları, araştırma betikleri. Kimi site kapıyı açar, kimi hız sınırıyla kabul eder.
• Sitenin istemediği otomasyon. OWASP'ın otomatik tehditler projesi bu grubu adlandırarak kataloglar: çalıntı parolaların toplu denenmesi (credential stuffing), çalıntı kart numaralarının doğrulanması (carding), sınırlı stoğun otomasyonla toplanması (scalping) ve içeriğin toplu kopyalanması (scraping) bu listededir.

Zorluk, üçünün ağ üzerinde birbirine benzemesidir. Sistem bu yüzden tek bir işarete değil, katmanların toplamına bakar.

Bir istek hangi sırayla değerlendirilir?#

1. Bağlantı gelir. İçerik okunmadan kaynak IP bellidir; itibarı, ülkesi ve ağı sorgulanır.
2. TLS el sıkışması yapılır. İlk mesaj (ClientHello), hangi yazılımın konuştuğuna dair ipucu taşır.
3. HTTP bağlantısı kurulur. HTTP/2'de istemci bağlantı ayarlarını bildirir; ardından yöntem, adres ve başlıklar gelir.
4. Sunucu tarafı puanı hesaplanır. İlk üç adımın sinyalleri adresin yakın geçmişiyle birleşir; istek burada reddedilebilir.
5. Sayfa tarayıcıya ulaşır. Sayfadaki küçük bir betik tarayıcı ortamını sınayıp sonucu geri bildirir.
6. Oturum izlenir. İstek sıklığı, gezinme sırası ve etkileşim, oturum boyunca puanı günceller.
7. Eşik aşılırsa eylem gelir. Hız sınırı, doğrulama ekranı ya da engel.

İlk dört adım ziyaretçi hiçbir şey fark etmeden sunucu tarafında geçer; beşinci ve altıncı adım yalnızca JavaScript çalıştıran istemcilerde veri üretir.

Katmanlar tek tabloda: hangi katman neyi ölçer?#

Son sütun yazının ana fikrini taşır: her katmanın yanıldığı bir insan grubu vardır ve eşikler bu maliyet bilinerek ayarlanır.

Ağ katmanı: IP itibarı ve ASN neyi söyler?#

IP adresi, istekle ilgili en erken bilgidir. Sistem adresin kötüye kullanım geçmişine, ülkesine ve ASN (otonom sistem numarası) üzerinden hangi ağa kayıtlı olduğuna bakar. Barındırma şirketinin ağından gelen istek ile bir ISS'nin ev abonelerine ayırdığı bloktan gelen istek aynı muameleyi görmez: ev kullanıcıları internete veri merkezinden çıkmaz. Sitelerin bir adresi "ISS" ya da "barındırma" diye nasıl sınıflandırdığını ISP Proxy ve Residential Proxy Farkı yazımızda anlattık.

İtibar iki kaynaktan gelir: adresin geçmişte spam ya da saldırı kaynağı olarak bildirilip bildirilmediğini tutan kara listeler (IP Kara Liste) ve adresin türünü, proxy ya da VPN çıkışı olup olmadığını tek sayıya indiren risk puanı servisleri (IP Fraud Score). Katmanın zayıf yanı, kişiyi değil adresi ölçmesidir. Mobil operatörler ve pek çok ISS çok sayıda aboneyi aynı adresin arkasına koyar (CGNAT); o adresten çalışan bir betik, adresi paylaşan herkesin itibarını düşürür.

Protokol katmanı: TLS parmak izi ve HTTP/2 ayarları#

HTTPS bağlantısının ilk mesajında istemci, desteklediği şifre takımlarını, uzantıları ve bunların sırasını açık biçimde gönderir. Liste tarayıcıdan tarayıcıya, kütüphaneden kütüphaneye değişir; sunucu onu kısa bir özete çevirdiğinde (JA3 ve JA4 yaygın biçimlerdir) elinde başlıklardan bağımsız bir işaret olur. User-Agent başlığında Chrome yazan ama el sıkışması bir Python kütüphanesine benzeyen istek, tutarsızlığıyla öne çıkar. Hesaplamanın ayrıntısı ve sınırları TLS Parmak İzi ve JA3 yazımızda.

RFC 9113, HTTP/2 bağlantısının başında iki tarafın da bir SETTINGS çerçevesi göndermesini zorunlu tutar. Bu çerçevedeki değerler ve sözde başlıkların (:method, :authority, :scheme, :path) gönderilme sırası her HTTP yığınında farklıdır. Katmanın değeri beyandan bağımsız olmasıdır; riski ise TLS trafiğini açıp yeniden kuran kurumsal güvenlik cihazlarının arkasındaki çalışanların, tarayıcılarıyla uyuşmayan bir el sıkışmasıyla gelmesidir.

Başlık katmanı: User-Agent ve tutarlılık#

Başlıklar istemcinin kendisi hakkındaki beyanıdır: User-Agent tarayıcıyı ve işletim sistemini söyler, Client Hints başlıkları (Sec-CH-UA ailesi) aynı bilgiyi yapılandırılmış biçimde tekrarlar, Accept-Language dil tercihini bildirir. Bu beyanı kimse doğrulamaz; her program istediği değeri yazabilir. Dizginin nasıl okunduğu User-Agent Nedir? yazımızda.

Bu yüzden anti-bot sistemi beyanın kendisine değil, öteki katmanlarla uyumuna bakar. Beyan edilen tarayıcı sürümü o başlık kümesini ve sırasını gerçekten gönderir mi? Dil tercihi IP'nin ülkesiyle, saat dilimi tarayıcının bildirdiğiyle örtüşüyor mu? Tek başına hiçbir uyumsuzluk kanıt değildir (yurt dışında yaşayan biri Türkçe tarayıcıyla başka ülkeden bağlanır), ama her biri puanı biraz aşağı çeker.

Tarayıcı katmanı: JavaScript sinyalleri#

Sayfa açıldığında koruma, sunucu tarafında göremediği bir alana erişir: tarayıcının kendisine. Sayfaya eklenen betik ekran ölçülerini, yüklü yazı tiplerini, grafik donanımının çizim çıktısını, saat dilimini ve desteklenen API'leri okur; bu değerlerin birleşimi tarayıcı parmak izidir. Parmak izi iki işe yarar: aynı istemciyi IP değişse bile tanımak ve beyan edilen ortamın gerçek olup olmadığını sınamak. Windows üzerinde Chrome olduğunu söyleyen ama yalnızca Linux sunucularda bulunan bir grafik sürücüsü bildiren ortam bu sınamada takılır. Sinyallerin tam listesi Tarayıcı Parmak İzi yazımızda.

Betiği hiç çalıştırmayan istemciler (cURL, Python Requests gibi HTTP kütüphaneleri) bu katmanda veri üretmez. API uç noktasında bu beklenen durumdur; HTML sayfasında betik sonucunun hiç gelmemesi, istemcinin tarayıcı sayılmaması için yeterlidir.

Headless tarayıcı nedir ve siteler onu nasıl tanır?#

Headless tarayıcı, ekranda pencere açmadan çalışan gerçek bir tarayıcıdır: sayfayı yükler, JavaScript'i çalıştırır ve sonucu koda teslim eder. Uçtan uca testte, PDF üretiminde, site izlemede ve izinli veri toplamada kullanılır; yaygın araçlar Playwright, Puppeteer ve Selenium'dur. Ne zaman gerektiğini Statik ve Dinamik Sayfalar, iki aracın farkını Playwright ve Selenium yazımızda anlattık.

Siteler otomasyonla yönetilen tarayıcıyı üç işaretten tanır:

İlk satırdaki bayrak bir tespit hilesi değil, standardın parçasıdır: W3C metni onu, tarayıcının belgeye WebDriver tarafından yönetildiğini bildirmesinin standart yolu olarak tanımlar.

İkinci satırın ağırlığı zamanla azaldı. Chrome'un headless belgesine göre eski headless kipi, tarayıcı kodunu paylaşmayan ayrı bir uygulamaydı; Chrome 132'den itibaren yalnızca chrome-headless-shell adlı ayrı bir dosya olarak sunuluyor, --headless ise gerçek Chrome kodunu çalıştırıyor. Ortam farkları küçüldükçe ağırlık davranışa kaydı.

Site sahibi için ders şudur: headless tarayıcı tespit etmek, kötü niyet tespit etmek değildir. QA ekibiniz ve izleme servisiniz de aynı işaretleri taşır; bu trafiği bilinen IP ya da imzalı istek kuralıyla ayırmak, bayrağa bakıp toptan engellemekten daha az zarar verir.

Davranış katmanı: hız ve gezinme örüntüsü#

Önceki katmanlar isteğin kimden geldiğine, davranış katmanı ne yaptığına bakar. En basit ölçü hızdır: belirli bir sürede aynı adresten, oturumdan ya da hesaptan gelen istek sayısı. Sınır aşıldığında sunucu 429 Too Many Requests döner. Sayaçların neye göre tutulduğunu ve sabit pencere, kayan pencere, token bucket algoritmalarını 429 Too Many Requests yazımızda anlattık.

Hızın ötesinde gezinme örüntüsü vardır. İnsan ana sayfadan kategoriye, oradan ürüne geçer ve tarayıcısı görselleri, stil dosyalarını da indirir; yalnızca ürün adreslerini sabit aralıklarla, hiçbir yan dosya istemeden gezen oturum farklı görünür. Ziyaretçinin göremeyeceği gizli bağlantılara giden istekler de bu katmanın sinyalidir (Honeypot Tuzakları). Yeni nesil sistemler sayfa içi etkileşimi (imleç hareketi, sekmenin görünür olup olmadığı) oturum boyunca izler; güncel bir örneği Cloudflare Precursor yazımızda inceledik.

Bu katman tek bir istek hakkında az, yüz istek hakkında çok şey söyler. Bedeli gecikmedir: karar için veri birikmesi gerekir.

Sinyaller karara nasıl dönüşür: puanlama ve doğrulama#

Katmanların hiçbiri kendi başına "bu bir bot" demez. Çıktıları bir puanda birleşir. Cloudflare'in bot puanı belgesi bu yaklaşımın açık bir örneğidir: her isteğe 1 ile 99 arasında bir puan verilir, 1 isteğin otomatik olduğundan, 99 ise insandan geldiğinden büyük ölçüde emin olunduğunu gösterir; 30'un altı "muhtemelen otomatik" sayılır. Belgeye göre puanı sezgisel kurallar, makine öğrenmesi, anomali tespiti ve JavaScript denetimleri besler.

Puan eylem değildir. Eylemi site sahibinin yazdığı kural belirler ve seçenekler bir merdiven oluşturur:

1. İzin ver. Puan yüksek ya da istek doğrulanmış bir bottan geliyor.
2. Hızını sınırla. İstek kabul edilir, sıklığı kısılır.
3. Doğrulama göster. Tarayıcıya görünmez bir sınama ya da ziyaretçiye onay kutusu sunulur; bu ekranın ziyaretçi tarafında ne anlama geldiği Cloudflare "Verify You Are Human" yazımızda.
4. Engelle. İstek 403 ya da bir engel sayfasıyla reddedilir.

Merdiven uç noktaya göre ayarlanır: blog sayfasında düşük puanlı isteğe izin vermenin maliyeti birkaç kilobayt trafik, giriş sayfasında ele geçirilmiş bir hesaptır.

Yanlış pozitifin maliyeti: gerçek ziyaretçi bot sayılırsa ne olur?#

Bot tespitinin iki hata türü vardır. Botu insan saymak (yanlış negatif) siteye yük, sahte hesap ya da çalınan içerik olarak döner. İnsanı bot saymak (yanlış pozitif) ise gelir kaybıdır: doğrulama ekranında vazgeçen müşteri, tamamlanmayan ödeme. İkinci hata raporlarda görünmez, çünkü engellenen ziyaretçi analitik aracına hiç düşmez.

Başlıca kaynakları şunlardır:

• Paylaşılan IP adresleri. Mobil operatör aboneleri, yurt, kafe ve kurumsal ağ kullanıcıları başkalarının davranışının bedelini öder.
• VPN ve gizlilik araçları. Adres veri merkezine ait göründüğü için ağ katmanı puanı düşürür (VPN veya Proxy Algılandı).
• Betik engelleyiciler, erişilebilirlik araçları, klavyeyle gezinme. Tarayıcı katmanı veri alamaz, davranış katmanı beklediği örüntüyü bulamaz.

Ziyaretçi tarafında bunun karşılığı "bot olarak algılandı", "şüpheli trafik algılandı" gibi mesajlardır: Google "Olağan Dışı Trafik" Hatası ve "Sorry, You Have Been Blocked" yazılarımızda iki örneğini ele aldık.

Pratik sonuç: engellemeden önce doğrulama gösterin ve geçenlerin oranını izleyin. Geçen her istek, kuralın yanlış kişiyi durdurduğunun kaydıdır.

Doğrulanmış botlar: site iyi botu nasıl tanır?#

User-Agent başlığına "Googlebot" yazmak bir satırlık iştir; bu yüzden iyi bot beyanıyla değil, kanıtıyla tanınır. Bugün üç yöntem kullanılıyor.

Ters DNS doğrulaması. Google'ın Googlebot doğrulama belgesi yöntemi verir: günlükteki IP için ters DNS sorgusu yapılır, dönen adın googlebot.com, google.com ya da googleusercontent.com altında olduğu kontrol edilir, sonra o ad yeniden IP'ye çözülüp ilk adresle eşleştiği doğrulanır.

Doğrulanmış bot listeleri. Bot yönetim servisleri bu kontrolü site sahibi adına yapar; Cloudflare'in doğrulanmış botlar belgesi iki koşul sayar: botun kendini dürüstçe tanıtması (kriptografik imza, yayımlanmış IP listesi ya da ters DNS ile) ve bu güveni kötüye kullanmaması, yani robots.txt'ye uyması ve makul istek hızını koruması. crawl-delay yönergesine uymamak ya da beyan edilen amaçla örtüşmeyen trafik üretmek listeden çıkarılma nedenidir.

İmzalı istekler (Web Bot Auth). Yeni yaklaşımda bot her isteği özel anahtarıyla imzalar, açık anahtarını kendi alan adında yayımlar ve site imzayı doğrular. Temeldeki standart RFC 9421 HTTP Message Signatures'dır; botlara uyarlanması için IETF bünyesinde bir Web Bot Auth çalışma grubu kuruldu. Grup, IP listesi, User-Agent dizgisi ve paylaşılan API anahtarı gibi bugünkü çözümleri yetersiz buluyor; kullanıcı adına istek yapan ajanın kimliği kapsamda, ajanın arkasındaki son kullanıcının kimliği kapsam dışı. İmzanın başlıklarını AI Alışveriş Ajanları Neden Sitelerde Engelleniyor? yazımızda anlattık.

Üçünde de kimlik istemcinin beyanıyla değil, bir kanıtla (DNS kaydı, IP sahipliği, özel anahtar) kurulur.

Otomasyon işletiyorsanız meşru yol nedir?#

Harita otomasyon işleten biri için de aynı sonucu gösterir: sistem, kendini tanıtan ve ölçülü davranan trafiğe yol açacak biçimde kuruluyor.

• Resmî API varsa onu kullanın. Erişim sözleşmeye dayanır, bot tespiti devreye girmez.
• robots.txt'ye uyun. Biçimi ve Python'da nasıl denetleneceği robots.txt Dosyası Nedir? yazımızda.
• Hızı site başına sınırlayın. 429 ve Retry-After yanıtlarına uyun.
• Botunuza ad verin. User-Agent içindeki bot adı ve iletişim adresi, yöneticiye engellemek yerine size yazma seçeneği tanır.
• Büyük hacimli erişim için izin isteyin. Kamuya hizmet veren bir tarayıcı işletiyorsanız doğrulanmış bot programlarına başvurun.
• Doğrulama ekranı gördüğünüzde durun. Bu ekran sitenin açık tercihidir; CAPTCHA çözdürme servislerini önermiyoruz.

Bu adımların uygulaması (eşzamanlılık, koşullu istekler, rotasyon ile sticky oturum ayrımı) Web Scraping'de Engellenmeden Veri Toplama Yöntemleri yazımızda denenmiş kodla duruyor.

Kullanım alanları: bu haritayı kim, ne için bilmeli?#

• Pazarlama ve analitik ekibi: Trafik sıçramalarının kaynağını ayırmak ve reklam bütçesini sahte tıklamadan korumak için. Reklam tarafı Google Ads Tıklama Sahtekârlığı yazımızda ve reklam doğrulama çözümü sayfamızda.
• Veri ekibi: Herkese açık sayfalardan veri toplarken hangi davranışın neden şüpheli göründüğünü anlamak için; genel kurgu veri kazıma çözümü sayfamızda, konuma göre değişen içerik için Residential Proxy kullanılır.
• QA ve test ekipleri: Kendi sitenizin bot koruması kendi test otomasyonunuzu durdurabilir. Test trafiğini sabit bir adresten çıkarıp o adrese izin kuralı yazın; bu iş için ISP Proxy ya da kendi sabit IP'niz kullanılır (uygulama testi çözümü).
• Marka koruma ekipleri: Sahte mağaza ve taklit ilan taramaları da otomasyondur, aynı katmanlardan geçer; kapsamı marka koruma çözümü sayfamızda.

Sık yapılan hatalar#

• Tek sinyale göre engellemek. Yalnızca veri merkezi ASN'sine ya da navigator.webdriver bayrağına bakan kural, izleme servislerini ve kendi testlerinizi de durdurur.
• User-Agent başlığına güvenip "Googlebot"a kapıyı açmak. Beyan kanıt değildir; ters DNS ya da doğrulanmış bot listesi kullanın.
• Her uç noktaya aynı eşiği koymak. Giriş sayfası ile blog yazısı aynı riski taşımaz.
• Yanlış pozitifi ölçmemek. Doğrulamayı geçen isteklerin oranı izlenmezse kuralın kimi durdurduğu bilinmez.
• Otomasyon tarafında: engeli teknik bir bulmaca gibi görmek. Doğrulama ekranı hata değil, site sahibinin cevabıdır; hızı, kapsamı ve izin durumunu gözden geçirin.

Karar rehberi#

Sık sorulan sorular#

Anti-bot nedir, ne işe yarar?#

Anti-bot, siteye gelen otomatik trafiği sınıflandıran ve site sahibinin kurallarına göre izin veren, yavaşlatan, doğrulama isteyen ya da engelleyen yazılım katmanıdır. Amacı bütün botları durdurmak değil, zararlı otomasyonu arama motoru gibi istenen botlardan ayırmaktır.

"Bot olarak algılandı" ne demek?#

Sitenin koruma katmanı isteğinize düşük puan vermiş demektir; bu, bir program kullandığınız anlamına gelmez. En sık nedenler VPN ya da paylaşılan bir IP adresi, betik engelleyen eklentiler ve kısa sürede çok sayıda sayfa açmaktır. İlk adım VPN'i ve eklentileri kapatıp sayfayı yeniden açmaktır.

Selenium ve Playwright bot tespitine neden takılır?#

Bu araçlar tarayıcıyı WebDriver ya da benzeri bir protokolle yönetir; standart gereği tarayıcı bunu navigator.webdriver bayrağıyla bildirir. Buna ortam farkları ve insan etkileşimine benzemeyen hız eklenir. Kendi sitenizi test ediyorsanız çözüm, test trafiğine koruma tarafında izin kuralı yazmaktır.

Bot tespiti yalnızca IP adresine mi bakar?#

Hayır. IP en erken sinyaldir, tek sinyal değildir: TLS el sıkışması, başlıkların tutarlılığı, tarayıcı ortamı ve oturum boyunca davranış ayrı ayrı değerlendirilir. Bu yüzden yalnızca IP değiştirmek öteki katmanları etkilemez.

Google Analytics'te bot trafiğini nasıl anlarım?#

Tek bir şehirden ya da ağdan gelen ani sıçrama, sıfıra yakın etkileşim süresi ve dönüşümle ilişkisi olmayan oturumlar tipik işaretlerdir. Kesin ayrım için analitik aracı yetmez; sunucu ya da CDN günlüklerinde aynı saat aralığını IP, ASN ve User-Agent kırılımıyla inceleyin.

Küçük bir siteyi botlardan korumak için nereden başlanır?#

Üç adımla başlayın: giriş, kayıt ve arama gibi pahalı uç noktalara hız sınırı koyun, CDN'in temel bot korumasını engelleme yerine doğrulama kipinde açın, arama motoru botlarının doğrulanmış listeden geçtiğini kontrol edin.

Özetle#

Bot tespiti bir duvar değil, art arda dizilmiş ölçümlerdir: ağ katmanı adresin itibarını ve ASN'ini, protokol katmanı TLS ve HTTP/2 izini, başlık katmanı beyanın tutarlılığını, tarayıcı katmanı ortamın gerçekliğini, davranış katmanı gezinme örüntüsünü okur. Hepsi tek puanda birleşir; site sahibi uç noktanın riskine göre izin, hız sınırı, doğrulama ya da engel seçer. Her katmanın yanıldığı gerçek kullanıcılar olduğu için iyi kurulmuş sistem önce doğrular, sonra engeller. İyi botlar kimliğini ters DNS, doğrulanmış bot listeleri ve RFC 9421 tabanlı imzalarla kanıtlar; otomasyon işleten için kalıcı yol da resmî API, robots.txt, ölçülü hız ve açık kimliktir. Kurallara uygun veri toplama işleriniz için proxy türlerini proxy hizmetlerimizde bulabilirsiniz.