Binlerce sayfayı otomatik olarak dolaşan crawler'ınız tek bir IP'den giderse hızla engellenir. Residential, rotating ve datacenter proxy havuzlarımız isteklerinizi geniş bir IP havuzuna dağıtarak, robots.txt kurallarınızı korurken kesintisiz bir tarama sağlar.
Uzun süre çalışan crawler süreçleriniz için sabit, değişmeyen IP.
Geniş site haritalarını düşük maliyetle, yüksek bant genişliğiyle tarayın.
Agresif bot korumalı hedeflerde fark edilmeden dolaşan gerçek kullanıcı IP'leri.
En sıkı korumalı hedefler için en yüksek güven skoruna sahip operatör IP'leri.
DDoS korumalı omurga üzerinde düşük ping'li sabit IP'ler.
Bir crawler'ın tek IP'den gönderdiği yüzlerce ardışık istek, hedef sunucunun güvenlik sistemleri tarafından hızla tespit edilip engellenir. İstekleri geniş bir IP havuzuna dağıtarak tek noktadan gelen anormal trafik izlenimini ortadan kaldırırsınız.
Çoğu sunucu, aynı IP'den dakikada belirli sayıda isteğe izin verir. Farklı IP'ler üzerinden dağıtılan crawl trafiği, bu sınırı IP başına değil toplamda çok daha yükseğe taşır.
Sunucuyu yormamak için istekler arasına eklenen bekleme süresi (politeness delay) tek IP'de taramayı ciddi şekilde yavaşlatır. Trafiği çok sayıda IP'ye paylaştırdığınızda her IP'nin kendi bekleme süresini korurken toplam tarama hızınız artar.
robots.txt'e uygun, düşük yoğunluklu bir crawler bile paylaşılan bir IP üzerinden giderse başka bir sürecin agresif trafiğinden dolayı engellenebilir. Kendi IP havuzunuz, uyumluluğunuzun sonucunu başkasının davranışına bağlı olmaktan çıkarır.
Concurrent request ayarını yükseltmek tek IP'de anında ban riski doğurur. Geniş bir proxy havuzuyla eşzamanlılığı IP başına düşük, toplamda yüksek tutarak binlerce sayfayı paralel tarayabilirsiniz.
Birçok site dil, fiyat ve içeriği ülkeye hatta şehre göre değiştirir. Hedef lokasyondan gerçek bir IP kullanmadan crawler'ınızın topladığı sayfa içeriği, gerçek bir ziyaretçinin gördüğünden farklı olabilir.
Crawl trafiğiniz kendi sunucunuzun IP'si üzerinden değil, proxy havuzundaki adresler üzerinden gider. Gerçek altyapınız taradığınız sitelerin loglarında hiç görünmez.
Geniş, az korumalı site kümelerini tararken datacenter proxy GB veya IP başına çok daha ucuzdur. Sıkı korumalı hedeflerde residential'a geçip bütçeyi hedefin hassasiyetine göre yönetirsiniz.
Scrapy, Apache Nutch, Puppeteer ve kendi HTTP istemciniz backconnect endpoint formatını yerel olarak destekler. Tek bir host:port ve kimlik bilgisi girip mevcut crawl mantığınızı değiştirmeden proxy havuzuna geçersiniz.
Web crawler (crawler bot), bir veya birkaç başlangıç adresinden (seed URL) yola çıkıp sayfa içindeki bağlantıları takip ederek siteler arasında sistematik biçimde dolaşan bir programdır. Akış her zaman aynıdır: crawler seed URL'den başlar, sayfayı çeker (crawl), HTML'i ayrıştırıp yeni bağlantıları ve veriyi çıkarır (parse), sonucu bir veritabanına veya dosyaya kaydeder (store) ve bulduğu yeni bağlantıları kuyruğa ekleyip döngüyü sürdürür.
Proxy Neden Gerekli? Hedef sunucular, tek bir IP'den gelen sürekli ve yoğun crawl trafiğini tanır; rate limit uygular, IP'yi geçici ya da kalıcı olarak banlar. Politeness delay'i (istekler arası bekleme) düşük tutup hızlı taramak istediğinizde bu risk daha da artar. Proxy havuzu, isteklerinizi çok sayıda farklı IP'ye dağıtarak yüksek eşzamanlılıkta, kesintisiz bir tarama yapmanızı sağlar.
| İş Türü | Oturum Modu | IP Kaynağı | Ücretlendirme |
|---|---|---|---|
| Yüksek hacimli, az korumalı hedefler (geniş site haritası) | Rotating Proxy | Datacenter Proxy | IP başına aylık |
| Zor korumalı, yoğun bot tespitli hedefler | Rotating Proxy | Residential Proxy | GB bazlı |
| En sıkı korumalı, en yüksek güven gerektiren hedefler | Rotating Proxy | Mobil Proxy | GB bazlı |
| Oturum açma veya oturum takibi gereken akışlar | Sticky Proxy | Residential Proxy | GB bazlı |
Veri kazıma genelde belirli bir listedeki sayfaları bir kere veya belirli aralıklarla çeker. Crawler'ın işi farklı: bir sitemap.xml'i baştan sona takip edip yüz binlerce sayfayı keşfetmek, ya da bir e-ticaret sitesinin her gün eklenen yeni ürün sayfalarını otomatik bulup kuyruğa eklemek gibi sürekli, zamanlanmış bir iş akışıdır.
Bu ölçekte tek bir IP hiçbir zaman yetmez — 500 bin sayfalık bir sitemap'i günde bir kez tazelemek isteyen bir crawler, saatte on binlerce istek gönderir ve hedef sunucu bunu tek kaynaktan gelen anormal trafik olarak görür. Arama motorlarının indeksleme mantığı da tam olarak bu nedenle geniş IP havuzları ve dağıtık istek zamanlaması üzerine kurulur.
Kendi crawler'ınızı kurarken de aynı prensip geçerli: keşif aşamasında her isteği farklı bir IP'den göndermek için Rotating Proxy kullanın, belirli bir alt siteyi derinlemesine takip ederken kimliği sabit tutmak isterseniz Sticky Proxy tercih edin — böylece hem robots.txt'e uyumlu kalır hem de zamanlanmış taramanızı kesintisiz sürdürürsünüz.
| Veri Scraper | Web Crawler | |
|---|---|---|
| Hedef listesi | Sabit, önceden bilinen sayfalar | Bağlantı takibiyle kendiliğinden genişler |
| Odak | Belirli alanları çıkarmak (fiyat, stok, başlık) | Sistematik keşif; genelde veri çıkarmayla birlikte |
| Örnek | Tek bir ürünün fiyatını takip etmek | Arama motoru indeksleme, site haritası taraması |
Sıfırdan bir crawl iş akışı kurarken izlenen seed URL → crawl → parse → store döngüsü:
DOWNLOADER_MIDDLEWARES = {"myproject.middlewares.ProxynetProxy": 100}
CONCURRENT_REQUESTS_PER_DOMAIN = 50
DOWNLOAD_DELAY = 0.5 # secondsSEO denetiminden e-ticaret katalog taramasına, finans verisi takibinden marka korumasına kadar web crawler'ın güç verdiği alanlar.
Bir sitenin tüm sayfalarını sistematik olarak dolaşıp kırık bağlantı, eksik meta etiket ve indekslenebilirlik sorunlarını arama motoru botlarının gördüğü gibi tespit edin.
Bir mağazanın kategori sayfalarından başlayıp her ürün sayfasına bağlantı takibiyle ulaşarak binlerce SKU'yu tek bir crawl döngüsünde keşfedin.
Katalog sayfalarını düzenli aralıklarla yeniden tarayarak fiyat, stok ve kampanya değişimini gerçek lokasyon IP'leriyle takip edin.
Rakip sitelerin tüm sayfa yapısını, ürün asortmanını ve bölgesel içerik farklarını crawler ile sistematik olarak çıkarın.
Web genelinde marka adınızı, logonuzu veya ürün fotoğraflarınızı kullanan sahte satıcı ve dolandırıcılık sitelerini geniş ölçekte tarayarak tespit edin.
Halka açık borsa ve haber sitelerini düzenli aralıklarla tarayarak fiyat, duyuru ve şirket verisini gerçek zamanlı toplayın.
Trustpilot'ta 5 üzerinden 4,4 — "Mükemmel".
Sattıkları proxy'lerin kalitesi ile satış öncesi ve satış sonrası desteği birlikte düşününce piyasadaki en iyilerden olduklarını söyleyebilirim. Uzun süre birlikte çalışmak isterim, teşekkürler.
Çağlar
Trustpilot · 5.0/5 · Ağu 2022
Başka bir firmadan proxy kullanıyordum ve hizmetimle ilgili destek alamıyordum. Henüz satın almadan proxynet.io'ya kayıtlıydım; Cumartesi günü müşteri hizmetlerinden bir e-posta gelince denemeye karar verdim. Şu ana kadar söyleyebileceğim, hızlı yanıt ve sorun çözme yaklaşımları beni gerçekten etkiledi.Trustpilot'ta okuyun
Kemal
Trustpilot · 5.0/5 · Eyl 2023
Teknik destek hızlı. ISP proxy'lerden çok memnun kaldım; fiyatları biraz daha uygun yapabilirsiniz, mobil maalesef pahalı ama ISP hızları ve subnet kalitesi başarılı.Trustpilot'ta okuyun
Andre James
Trustpilot · 5.0/5 · Ara 2023
Aklınıza takılan farklı bir soru veya yüksek hacimli crawl altyapı talepleriniz için uzman ekibimiz 7/24 yanınızda.
Web crawler, bir veya birkaç seed URL'den başlayıp sayfa içindeki bağlantıları takip ederek siteler arasında sistematik biçimde dolaşan bir bottur. Akış seed URL → crawl (sayfayı çekme) → parse (HTML'i ayrıştırıp yeni bağlantı ve veriyi çıkarma) → store (sonucu kaydetme) şeklinde döner; bulunan her yeni bağlantı kuyruğa eklenip aynı döngü tekrar eder.
Data scraper önceden bilinen, sabit bir sayfa listesinden belirli alanları çıkarmaya odaklanır. Web crawler'ın hedef listesi ise sabit değildir; bağlantıları takip ederek kendi hedef kümesini kendisi genişletir — arama motorlarının interneti indekslemesi gibi. Çoğu crawler bulduğu sayfalardan veri de çıkardığı için pratikte aynı zamanda bir scraper gibi de davranır.
Politeness delay, crawler'ın aynı sunucuya art arda gönderdiği istekler arasına eklediği bekleme süresidir; sunucuyu yormamak ve engellenmemek için kullanılır. Tek IP'de bu süreyi düşürmek hızlı ban getirir. İstekleri bir proxy havuzuna dağıttığınızda her IP kendi politeness delay'ini korurken toplam tarama hızınız IP sayısıyla orantılı olarak artar.
Concurrent request sayısını tek bir IP üzerinde yükseltmek anında rate limit veya ban riski doğurur. Bunun yerine eşzamanlılığı proxy havuzundaki IP sayısına yayın: her IP düşük ve nazik bir hızda istek gönderirken, havuzun toplamı binlerce sayfayı paralel taramanıza imkân tanır.
Crawler'ınız taramaya başlamadan önce hedef domain'in robots.txt dosyasını okumalı ve Disallow ile işaretlenmiş yolları kapsam dışı bırakmalıdır. Bir proxy havuzu kullanmak sizi robots.txt'e uymaktan muaf tutmaz; havuz yalnızca IP kaynaklı engellemeleri çözer, kapsam ve izin kontrolü kendi crawler mantığınızda kalır.
Sayfa keşfi ve bağlantı takibi gibi durum tutmayan işlerde her isteğin farklı bir IP'den gitmesi (rotating) en verimlisidir; oturum açma veya çerez takibi gereken akışlarda sticky proxy IP'yi bir süre sabit tutar. Kaynak olarak zor korumalı, agresif bot tespitli sitelerde residential; yüksek hacimli, az korumalı geniş katalog veya site haritası taramalarında ise çok daha ucuz olan datacenter proxy tercih edilir; en sıkı korumalı, en yüksek güven gerektiren hedeflerde mobil proxy devreye girer.
Scrapy, Apache Nutch, Puppeteer ve kendi HTTP istemciniz backconnect endpoint formatını (host:port ve kullanıcı adı:şifre) yerel olarak destekler. Scrapy'de DOWNLOADER_MIDDLEWARES üzerinden, diğer araçlarda istek/istemci ayarlarında tanımlarsınız; kod tarafında proxy listesi tutmanıza veya rotasyon mantığı yazmanıza gerek kalmaz.