Paket sayfasında yüz milyonu aşkın residential IP yazıyordu. Bir fiyat kontrolünü tek bir şehre yönelttiniz, ağ geçidi üzerinden 200 istek gönderdiniz ve kayıtlardaki adresleri saydınız: 150'nin biraz üzerinde farklı adres çıktı, birkaçı da üçer kez görünüyordu. Havuz vaat edilenden küçük müydü? Genellikle hayır. Hiçbir zaman havuzun tamamından seçim yapmıyordunuz; yalnız o anda şehrinize uyan dilimden seçiyordunuz. Herhangi bir dilimden rastgele yapılan seçimler de sezginizin söylediğinden daha erken tekrar eder.
Bu yazıda proxy havuzunun ne olduğunu, nasıl dilimlere ayrıldığını ve sağlıklı tutulduğunu, ilan edilen büyüklüğün neden sizin büyüklüğünüz olmadığını, bir işin neye ihtiyaç duyduğunu nasıl hesaplayıp test edeceğinizi anlatıyoruz.
Proxy havuzu nedir?
Proxy havuzu, tek bir kaynak olarak yönetilen çıkış IP adresleri topluluğudur; böylece istekler, her adresi tek tek ayarlamanız gerekmeden farklı adreslerden çıkabilir. Çıkış IP'si hedef sitenin gördüğü adrestir; havuz ise seçilebilecek bütün çıkışlardır.
Havuzla iki biçimde karşılaşırsınız. Ağ geçidi (gateway, backconnect da denir) modelinde pr.proxynet.io:8000 gibi tek bir host:port adresine bağlanırsınız ve çıkışı, arkadaki havuzdan sağlayıcı seçer. Statik kurulumda ise sabit bir adres kümesi alırsınız ve istekleri bu adreslere kendi kodunuz dağıtır. İkisi de havuzdur; fark, seçimi kimin yaptığındadır.
"IP havuzu" ifadesi, bir DHCP sunucusunun ya da internet sağlayıcısının kendi müşterilerine dağıttığı adres aralığı için de kullanılır. Bu başka bir şeydir. Bu yazıda havuz, her zaman isteklerinizin kullanabileceği proxy çıkışlarının kümesi anlamına gelir. Residential Proxy ağımız ağ geçidi modeline bir örnektir: 140 milyondan fazla IP, mobil ağla birlikte 160 milyondan fazla IP ve 190'dan fazla ülkede kapsama.
Proxy havuzu nasıl çalışır?
Havuz önce süzer, sonra seçer: her yeni bağlantı havuzu isteğinize uyan adreslere daraltır, ardından bunlardan birini alır.
- Ağ geçidine bağlanırsınız. Bağlantı HTTP, HTTPS ya da SOCKS5 üzerinden kurulur; kimliğinizi kullanıcı adı ve şifreyle ya da IP whitelist'e eklediğiniz adresle doğrularsınız.
- Ağ geçidi parametrelerinizi okur. Ülke, şehir, ağ ve oturum ayarları genellikle kullanıcı adına eklenen parametrelerle gelir.
- Havuz bir dilime süzülür. Yalnız bütün parametrelere uyan çıkışlar aday olarak kalır.
- Sağlıksız çıkışlar atlanır. Yakın zamanda hata veren, çevrimdışı olan ya da hatalardan sonra dinlenen adresler dışarıda bırakılır.
- Bir çıkış seçilir. Ya yeni bir çıkış ya da oturum kimliğinize zaten bağlı olan çıkış kullanılır.
- Trafik aktarılır. Hedef, seçilen çıkışın adresini görür. Başarısız olan ya da zaman aşımına uğrayan bir bağlantı 4. adıma geri bildirilir.
Bu yazının konusu 3. ve 4. adımlardır. Çıkışın ne zaman değişeceğine karar veren 5. adımın kuralları IP Rotasyonu Nedir ve Nasıl Çalışır? yazısında anlatılıyor; aşağıda yalnız özetliyoruz.
Proxy havuzu ile proxy listesi arasındaki fark nedir?
Proxy listesi kendi yönettiğiniz sabit bir adres kümesidir; ağ geçidi havuzu ise sağlayıcının sizin için yönettiği, sürekli değişen bir kümedir.
| Proxy listesi | Ağ geçidi havuzu | |
|---|---|---|
| Size verilen | Satır satır adresler | Tek endpoint |
| Çıkışı kim seçer | Sizin kodunuz | Ağ geçidi |
| Bozuk çıkışı kim ayıklar | Siz | Ağ geçidi |
| Her IP'yi bilir misiniz? | Evet | Hayır, yalnız dilim kurallarını |
| Tipik ücretlendirme | IP başına | GB başına |
Liste size kontrol verir: her adresi izin listesine ekleyebilir ve aylarca tutabilirsiniz. Ağ geçidi havuzu ise kapsam verir; adreslerin sağlığıyla sağlayıcı ilgilenir.
Proxy havuzu nasıl dilimlere ayrılır?
Havuz, her çıkış adresinin özelliklerine göre dilimlere ayrılır ve eklediğiniz her filtre aday kümesini küçültür. En yaygın üç dilim ülke, şehir ve ağdır.
Ülke neredeyse her işin ihtiyaç duyduğu dilimdir, çünkü fiyat, dil ve stok ülke sınırında değişir. Şehir bu dilimi, bölgeye göre değişen şeyler için daraltır: teslimat süresi, yerel reklam, mağaza stoku. Ağ ise adresin ait olduğu otonom sistemdir. RFC 1930 tanımına göre otonom sistem, bir ya da birden fazla operatörün işlettiği, tek ve açıkça tanımlanmış bir yönlendirme politikası olan IP önekleri grubudur; pratikte bir internet sağlayıcısının ağıdır ve otonom sistem numarasıyla (ASN) tanımlanır.
Bizim ağımızda residential ve mobil proxy'lerde ülke ve şehir seçersiniz; residential'da buna ek ücret olmadan ASN hedefleme eklenir. Her filtre bir takastır: Mobil Proxy ağında tek bir şehrin dilimi, bağlı olduğu ülkenin diliminden çok daha küçüktür. Dar hedef size kesinlik kazandırır, karşılığında daha az farklı adres sunar.
Havuz büyüklüğü neden size düşen büyüklük değildir?
İlan edilen büyüklük bütün ülke ve ağların toplamıdır; işinize düşen ise o anda eşleşen dilimden, dinlenmedeki adresler çıkarıldıktan sonra kalandır. Bu sayıyı üç şey küçültür.
İlki dilimdir: bir ülke havuzun bir kısmını, bir şehir de o kısmın bir bölümünü tutar. İkincisi zamandır: residential ve mobil çıkışlar gün içinde açılıp kapanan gerçek bağlantılardır. Üçüncüsü sağlıktır: hata veren ya da bekleme süresindeki adresler düzelene kadar atlanır.
Sağlıklı bir dilimin içinde bile rastgele seçim tekrar eder. Test makinemizde kısa bir Node.js betiğiyle eşit olasılıklı rastgele seçimi simüle ettik: 5.000 çıkışlık bir dilimden yapılan 100 seçim ortalama 99 civarında farklı adres verdi, ama her 10 denemenin yaklaşık 6'sında en az bir adres iki kez geldi. 500 çıkışlık bir dilimde aynı 100 seçim ortalama 91 civarında farklı adres verdi. Bu bir arıza değil, basit bir olasılık sonucudur. Gerçek ağ geçitleri seçimi tamamen rastgele yapmaz; bu sayıları herhangi bir hizmetin ölçümü olarak değil, bir model olarak okuyun.
Proxy havuzunu sağlıklı tutan nedir?
Hata veren çıkışlar hızla dışarı alınır ve bir sitenin yavaşlamanızı istediği çıkışlara yeniden kullanılmadan önce zaman tanınırsa havuz sağlıklı kalır. İlk kısmı ağ geçidi yapar, ikincisi sizin istemcinizin işidir.
Ağ geçidi tarafında bağlantıyı reddeden, zaman aşımına uğrayan ya da ağdan düşen çıkış aday kümesinden çıkarılır ve daha sonra yeniden denetlenir. Sticky oturum da bu yüzden yer değiştirebilir: bağlı olduğu çıkış ortadan kalkarsa oturum başka bir çıkışa geçer.
Sizin tarafınızda okumanız gereken şey yanıttır. 429 Too Many Requests, istemcinin belirli bir sürede çok fazla istek gönderdiği anlamına gelir; RFC 6585, standardın sunucunun kullanıcıyı nasıl tanıdığını ya da istekleri nasıl saydığını tanımlamadığını belirtir. Bir site hesap, çerez ya da oturum başına sayabilir; dolayısıyla çıkış değiştirmek sitenin sayacını sıfırlamaz.
Saygılı tepki bir bekleme süresidir: durun, bekleyin ve daha yavaş geri dönün. Yanıtta bir Retry-After başlığı varsa saniye ya da tarih olarak verilen değeri ne kadar bekleyeceğinizi söyler. Büyük bir havuz yükü adreslere yayar; daha yüksek bir toplam hızı kabul edilebilir kılmaz.
Rotating mi, sticky mi: havuzdan nasıl seçim yaparsınız?
Havuzdan ya her yeni bağlantıda yeni bir çıkışla (rotating) ya da adını sizin verdiğiniz bir oturum boyunca aynı çıkışla (sticky) seçim yaparsınız. Bu tercih, işinizin kaç farklı adrese dokunacağını belirler.
Rotating seçimde, birbirinden bağımsız 1.000 sayfa yüklemesi yapan bir iş 1.000 adrese kadar dokunabilir. Sticky oturumda kullanıcı adına bir oturum kimliği eklersiniz ve ağ geçidi bu kimliği tek bir çıkışta tutar; residential ve mobil proxy'lerimizde bu süre 1 ile 60 dakika arasında ayarlanır. Yirmi oturum kimliğiyle çalışan yirmi işçi aynı anda yirmi çıkış kullanır. Bağımsız ve herkese açık sayfalarda rotating, durum tutan her şeyde (giriş, sepet, sayfalama) sticky kullanın.
Paylaşımlı mı, özel mi: havuzdan başka kim seçim yapıyor?
Paylaşımlı havuzdan birçok müşteri seçim yapar; özel havuz ise yalnız size atanmış adreslerden oluşur. Residential ve mobil trafik için ağ geçidi havuzları paylaşımlıdır: şu anda kullandığınız çıkış bir saat sonra başka bir müşteriye hizmet verebilir.
Her adresin kendi geçmişi vardır; bir site, bir çıkışa sizin isteğinizden önce o çıkıştan gönderilenler yüzünden tepki verebilir. Bir iş, örneğin bir izin listesi kaydı ya da uzun ömürlü bir hesap, yalnız sizin trafiğinizi taşıyan bir adres gerektiriyorsa özel adres kullanın. İnsanların "özel proxy havuzu" (private proxy pool) derken genellikle kastettiği, bu tür adreslerden oluşan bir kümedir.
Havuzunuz ne zaman statik IP'lerden oluşan bir listedir?
Sabit, size özel adresler kiralayıp işi bunlara kendiniz dağıttığınızda havuzunuz statik bir listedir. Statik ISP proxy'lerimiz 20'den fazla ülkede 240.000'den fazla özel IP sunar; Datacenter Proxy ürünümüz ise 50'den fazla ülkede, TIER 3+ veri merkezlerinde barındırılan 2.000.000'dan fazla özel IPv4 adresi sunar.
Statik havuz küçük ve öngörülebilirdir: belki 10 ya da 50 adres, her biri bilinir, kodunuz sırayla seçer ve hata vermeye başlayanı kenara ayırır. Planda iki ayrıntı yer almalı. IP başına satılan bu ürünler sipariş verirken belirttiğiniz hedef site için teslim edilir; adresleri bütün sitelerde kullanmak "Tüm web sitelerine erişim" adlı ücretli bir ek seçenektir. Statik ürünlerde bant genişliği adil kullanım politikasına bağlı olarak sınırsızdır.
Bir iş gerçekte kaç IP'ye ihtiyaç duyar?
Bir iş, aynı anda yürüttüğü oturum sayısı kadar adrese ihtiyaç duyar; bu adresler de tekrarların işi etkilemeyeceği kadar büyük bir dilimden gelmelidir. Varsayımsal sayılarla bir örnek:
- İş: tek bir perakende sitesinde herkese açık 12.000 ürün sayfasını her gün, tek bir ülkeden görüldüğü haliyle kontrol etmek.
- Hız: site, sizden toplamda yaklaşık 7 saniyede bir isteği rahatça karşılıyor; bu da saatte kabaca 500 sayfa eder. Hızı havuz değil, site belirler.
- Oturumlar: her biri 10 dakikalık sticky oturumla çalışan 4 işçi. Bu, aynı anda 4 çıkış ve günde 4 × 6 × 24 = 576 oturum demektir.
- Dilim: birkaç bin sağlıklı çıkıştan oluşan bir ülke dilimi 576 oturumu az tekrarla karşılar; tek bir şehir karşılamayabilir, bu da herkese açık sayfalar için kabul edilebilir.
- Trafik: kaynaklarıyla birlikte sayfa başına 1,5 MB varsayılırsa gün yaklaşık 18 GB trafik taşır. GB başına bir paketin faturaladığı şey IP sayısı değil, bu rakamdır.
Hesabın ücretlendirme tarafı için satın almadan önce sorulacak sorular Proxy Satın Alırken Nelere Dikkat Edilmeli? yazısında toplandı.
Proxy havuzu nasıl test edilir?
Havuzu örneklem alarak test edersiniz: IP adresinizi geri döndüren bir servise yeni bağlantılarla istekler gönderir, farklı adresleri sayar ve konumlarını kontrol edersiniz. Ülke hedefli rotating seçimde 50 isteklik bir örneklemin çoğunlukla farklı adresler döndürmesi gerekir.
for i in $(seq 1 50); do
curl -s -x http://user:pass@pr.proxynet.io:8000 https://api.ipify.org; echo
done | sort | uniq -c | sort -rnHer curl çağrısı kendi bağlantısını açar; bu yüzden bağlantının yeniden kullanılması rotasyonu gizleyemez ve tekrar eden adresler çıktının en üstüne çıkar. Sayma zincirini test makinemizde küçük bir yerel IP yankı sunucusuyla denedik; örnekteki kimlik bilgilerini kendi bilgilerinizle değiştirin.
Neredeyse her satırda aynı adres görünüyorsa bir sticky oturum kimliği ya da statik adres kullanılıyordur. Dar bir şehir diliminde birkaç tekrar normaldir. Her çıkışın ülkesini doğrulamak ve sızıntı kontrolü için Proxy Çalışıyor mu? Proxy Nasıl Test Edilir? yazısındaki adımları izleyin.
Proxy havuzlarıyla nerede karşılaşırsınız?
Fiyat takibi yapan ekipler, yerel bir alışverişçinin gördüğü fiyat ve stoğu görmek için ülke ya da şehir dilimlerini kullanır. Reklam doğrulama, her pazarda doğru reklamın ve açılış sayfasının göründüğünü kontrol eder; uygulama içi reklamlarda bunu çoğu zaman mobil çıkışlarla yapar. Yerelleştirme ve uygulama testi ekipleri, lansmandan önce dili, para birimini ve bölgesel içeriği kontrol eder; çok adımlı bir akış tek adreste kalsın diye sticky oturum kullanır. Pazar araştırması birçok bölgedeki herkese açık ilanları toplar. Hesaplar ve izin listesi isteyen API'ler ise havuz yerine özel statik adreslerde durur.
Sık yapılan hatalar
- Havuzu ilan edilen sayıyla değerlendirmek. İşiniz hedeflediğiniz dilimi, o saatte, dinlenmedeki adresler çıkarılmış haliyle kullanır.
- Ülke yeterliyken tek şehri hedeflemek. Daha dar dilim daha az farklı çıkış demektir.
- Büyük havuzu daha hızlı gönderme izni saymak. Hızı site belirler.
429, hangi çıkışı kullanırsanız kullanın yavaşlayın demektir. - Hemen yeni bir çıkışla yeniden denemek. Site ara vermenizi istediyse yeni bir adres bunu değiştirmez.
- Bütün işçilere aynı oturum kimliğini vermek. Bütün işçiler tek bir çıkışı paylaşır ve tek bir istemci gibi davranır.
- İzin listesi tek bir sabit IP isterken paylaşımlı havuz kullanmak. Paylaşımlı çıkış değişir; izin listesi özel bir adres ister.
Karar rehberi
| İhtiyaç | Öneri |
|---|---|
| Tek ülkede çok sayıda herkese açık sayfa | Ağ geçidi havuzu, ülke dilimi, rotating |
| Giriş, sepet ya da çok adımlı akış | Her akışa bir sticky oturum |
| Bir sağlayıcının müşterilerinin gördüğü | ASN hedeflemeli residential havuz |
| Uygulama içi reklam, yalnız mobilde görünen içerik | Mobil havuz, ülke ya da şehir dilimi |
| API izin listesi, uzun ömürlü hesap | Özel statik ISP ya da datacenter IP |
| Kendi yönettiğiniz birkaç sabit adres | Statik liste, rotasyon kodunuzda |
Site 429 döndürüyor | Bekleme ve daha düşük hız, daha çok çıkış değil |
Sıkça sorulan sorular
Proxy havuzu ne demek?
Proxy havuzu, bir proxy hizmetinin ya da kendi kodunuzun giden istekler için arasından seçim yapabildiği çıkış IP adresleri grubudur. Tek bir proxy adresi yerine birçok adresiniz olur ve her istek ya da oturum, belirlediğiniz kurallara göre bunlardan birinden çıkar.
Kaç proxy'ye ihtiyacım var?
Aynı anda yürüttüğünüz oturum sayısı kadar adrese ihtiyacınız vardır; bu adresler de tekrarların sonuçlarınızı etkilemeyeceği kadar büyük bir dilimden gelmelidir. Hesaba hedef sitenin kabul ettiği hızdan ve paralel işçi sayınızdan başlayın. Ağ geçidi havuzunda adresleri tek tek satın almazsınız; dilimi seçer, trafiğin ücretini ödersiniz.
Büyük proxy havuzu her zaman daha mı iyidir?
Hayır. Büyük havuz ancak hedeflediğiniz dilim de büyükse ve çalıştığınız saatlerde sağlıklıysa işe yarar. Tek ülkedeki tek bir site için sağlıklı tutulan bir dilim çoğu zaman toplamdan daha önemlidir. İzin listeleri ve hesaplar için tek bir özel adres her havuzdan iyidir.
Proxy havuzu ile rotating proxy arasındaki fark nedir?
Havuz adreslerin kümesidir; rotating proxy ise her yeni bağlantıda bu kümeden yeni bir adres seçen hizmettir. Rotasyon havuzdan seçim yapmanın bir yoludur; sticky oturum da aynı havuzdan seçim yapmanın başka bir yoludur.
Özel proxy havuzu nedir?
Özel proxy havuzu, yalnız size atanmış adreslerden oluşan bir kümedir; bunlar genellikle statik ISP ya da datacenter adresleridir. Adresler sizdeyken başka hiçbir müşteri onlar üzerinden trafik göndermez, dolayısıyla geçmişleri size aittir. Hesaplara, izin listelerine ve uzun süreli izlemeye uygundur.
Ücretsiz proxy havuzları güvenli mi?
İnternetten toplanmış ücretsiz proxy listeleri, önemli herhangi bir iş için kötü bir seçimdir. Sunucuları kimin işlettiğini bilmezsiniz, şifrelenmemiş trafiği okuyabilir ya da değiştirebilirler ve birçoğu birkaç saat içinde çalışmaz hale gelir. Anlaşma yaptığınız bir sağlayıcının proxy'lerini kullanın.
Özet
Proxy havuzu, bir ağ geçidinin ya da kendi kodunuzun arasından seçim yaptığı çıkış adresleri kümesidir. Ağ geçidi havuzu ülkenize, şehrinize ya da ağınıza göre süzer, hata veren ve dinlenmedeki çıkışları atlar ve her bağlantı ya da oturum için bir çıkış seçer. Bir işi ilan edilen sayıya göre değil dilime göre planlayın: paralel oturumları sayın, dilimin kabul edebileceğiniz tekrarlar için yeterince büyük olduğunu kontrol edin, sitenin belirlediği hızda kalın ve farklı adreslerden bir örneklemle test edin. Birçok bölgede herkese açık sayfalarla yapılan işler için paylaşımlı bir ağ geçidi havuzu, tek bir kimliğin değişmemesi gereken yerde ise özel statik bir adres kullanın.




