Was ist ein Proxy-Pool und wie funktioniert er?

Veröffentlicht:

14 Min. Lesezeit

Acar Diveroli
Autor: Acar Diveroli
Isometrischer Gateway-Block vor IP-Knoten auf Länderkacheln; ein gewählter Knoten ist blau, zwei pausierende sind umrandet

Auf der Produktseite standen mehr als hundert Millionen Residential-IPs. Sie haben einen Preisabgleich auf eine einzige Stadt ausgerichtet, 200 Anfragen über das Gateway geschickt und die Adressen in Ihrem Log gezählt: etwas mehr als 150 verschiedene, und einige tauchten dreimal auf. War der Pool kleiner als versprochen? Meist nicht. Sie haben nie aus dem ganzen Pool gezogen, sondern nur aus dem Ausschnitt, der in diesem Moment zu Ihrer Stadt passte, und Zufallsauswahlen aus jedem Ausschnitt wiederholen sich früher, als die Intuition vermuten lässt.

Dieser Beitrag erklärt, was ein Proxy-Pool ist, wie er aufgeteilt und gesund gehalten wird, warum die beworbene Größe nicht Ihre Größe ist und wie Sie abschätzen und testen, was ein Job braucht.

Was ist ein Proxy-Pool?

Ein Proxy-Pool ist eine Sammlung von Ausgangs-IP-Adressen, die als eine einzige Ressource verwaltet wird, damit Anfragen über verschiedene Adressen hinausgehen können, ohne dass Sie jede einzeln einrichten. Die Ausgangs-IP ist die Adresse, die die Zielwebsite sieht; der Pool umfasst alle Ausgänge, die gewählt werden können.

Sie begegnen zwei Formen. Bei einem Gateway (auch Backconnect genannt) verbinden Sie sich mit einem einzigen host:port wie pr.proxynet.io:8000, und der Anbieter wählt den Ausgang aus dem Pool dahinter. Bei einem statischen Aufbau erhalten Sie eine feste Reihe von Adressen, und Ihr eigener Code verteilt die Anfragen darauf. Beides sind Pools; sie unterscheiden sich darin, wer die Wahl trifft.

„IP-Pool“ bezeichnet auch den Adressbereich, den ein DHCP-Server oder ein Internetanbieter an seine eigenen Kunden vergibt. Das ist etwas anderes. Hier ist ein Pool immer die Menge der Proxy-Ausgänge, die Ihren Anfragen zur Verfügung stehen. Ein Beispiel für die Gateway-Form ist unser Residential-Proxy: mehr als 140 Millionen IPs, zusammen mit Mobile mehr als 160 Millionen, in mehr als 190 Ländern.

Wie funktioniert ein Proxy-Pool?

Ein Pool arbeitet in zwei Schritten, erst filtern, dann wählen: Jede neue Verbindung grenzt den Pool auf die Adressen ein, die zu Ihrer Anfrage passen, und nimmt dann eine davon.

  1. Sie verbinden sich mit dem Gateway über HTTP, HTTPS oder SOCKS5 und authentifizieren sich mit Benutzername und Passwort oder über eine freigegebene IP (Allowlist).
  2. Das Gateway liest Ihre Parameter. Land, Stadt, Netz und Sitzungseinstellungen kommen meist als Parameter an, die an den Benutzernamen angehängt sind.
  3. Der Pool wird auf einen Ausschnitt gefiltert. Nur Ausgänge, die zu jedem Parameter passen, bleiben Kandidaten.
  4. Ungesunde Ausgänge werden übersprungen. Adressen, die kürzlich gescheitert sind, offline gingen oder nach Fehlern pausieren, bleiben außen vor.
  5. Ein Ausgang wird gewählt. Entweder ein neuer Ausgang oder der Ausgang, der bereits an Ihre Sitzungs-ID gebunden ist.
  6. Der Traffic wird weitergeleitet. Das Ziel sieht die Adresse des gewählten Ausgangs. Eine gescheiterte oder abgelaufene Verbindung fließt in Schritt 4 zurück.

Um die Schritte 3 und 4 geht es in diesem Beitrag. Schritt 5, die Regeln, nach denen der Ausgang wechselt, behandelt Was ist IP-Rotation und wie funktioniert sie?; hier fassen wir ihn weiter unten nur zusammen.

Proxy-Pool oder Proxy-Liste: Was ist der Unterschied?

Eine Proxy-Liste ist eine feste Reihe von Adressen, die Sie selbst verwalten; ein Gateway-Pool ist eine sich ständig ändernde Menge, die der Anbieter für Sie verwaltet.

Proxy-ListeGateway-Pool
Was Sie erhaltenAdressen, eine pro ZeileEinen Endpoint
Wer den Ausgang wähltIhr CodeDas Gateway
Wer tote Ausgänge entferntSieDas Gateway
Kennen Sie jede IP?JaNein, nur die Regeln des Ausschnitts
Übliche AbrechnungPro IPPro GB

Eine Liste gibt Ihnen Kontrolle: Sie können jede Adresse auf eine Allowlist setzen und monatelang behalten. Ein Gateway-Pool gibt Ihnen Reichweite, und um den Zustand der Adressen kümmert sich die Gegenseite.

Wie wird ein Proxy-Pool aufgeteilt?

Ein Pool wird nach Merkmalen der einzelnen Ausgangsadressen aufgeteilt, und jeder zusätzliche Filter verkleinert die Kandidatenmenge. Die drei üblichen Ausschnitte sind Land, Stadt und Netz.

Das Land ist der Ausschnitt, den fast jeder Job braucht, weil sich Preise, Sprache und Bestand an der Grenze ändern. Die Stadt grenzt weiter ein, wenn etwas regional schwankt: Lieferzeiten, lokale Anzeigen, Verfügbarkeit im Geschäft. Das Netz meint das autonome System, zu dem eine Adresse gehört. Nach RFC 1930 ist ein autonomes System eine Gruppe von IP-Präfixen, die von einem oder mehreren Betreibern mit einer einzigen, klar definierten Routing-Richtlinie betrieben wird; in der Praxis ist das das Netz eines Internetanbieters, erkennbar an seiner Nummer des autonomen Systems (ASN).

In unserem Netz wählen Sie bei Residential- und Mobile-Proxys Land und Stadt, und Residential bietet zusätzlich ASN-Targeting ohne Aufpreis. Jeder Filter ist ein Tausch: Beim Mobile-Proxy ist der Ausschnitt für eine Stadt weit kleiner als der für ihr Land, ein enges Ziel erkauft Präzision also mit weniger verschiedenen Adressen.

Warum ist die Poolgröße nicht die Größe, die Sie bekommen?

Die beworbene Größe ist die Summe über alle Länder und Netze; Ihr Job bekommt den passenden Ausschnitt, in diesem Moment, abzüglich der Adressen, die gerade pausieren. Drei Dinge verkleinern ihn.

Zuerst der Ausschnitt: Ein Land umfasst einen Bruchteil des Pools, eine Stadt einen Bruchteil davon. Dann die Zeit: Residential- und Mobile-Ausgänge sind echte Anschlüsse, die im Lauf des Tages kommen und gehen. Dann der Zustand: Ausgänge, die scheitern oder pausieren, werden übersprungen, bis sie sich erholen.

Selbst in einem gesunden Ausschnitt wiederholt sich die Zufallsauswahl. Auf unserem Testrechner haben wir mit einem kurzen Node.js-Skript gleichverteilte Zufallsauswahlen simuliert: 100 Ziehungen aus einem Ausschnitt von 5.000 Ausgängen ergaben im Mittel etwa 99 verschiedene Adressen, und doch kam in ungefähr 6 von 10 Durchläufen mindestens eine Adresse doppelt vor. Aus einem Ausschnitt von 500 ergaben dieselben 100 Ziehungen etwa 91 verschiedene Adressen. Das ist schlichte Wahrscheinlichkeit, kein Fehler. Echte Gateways wählen nicht vollkommen zufällig; verstehen Sie diese Zahlen deshalb als Modell, nicht als Messung eines bestimmten Dienstes.

Was hält einen Proxy-Pool gesund?

Ein Pool bleibt gesund, wenn scheiternde Ausgänge schnell herausgenommen werden und Ausgänge, die eine Website zum Verlangsamen aufgefordert hat, Zeit bekommen, bevor sie wieder benutzt werden. Den ersten Teil übernimmt das Gateway, den zweiten Ihr Client.

Auf der Seite des Gateways verlässt ein Ausgang, der Verbindungen ablehnt, in ein Timeout läuft oder aus dem Netz fällt, die Kandidatenmenge und wird später erneut geprüft. Deshalb kann auch eine Sticky-Sitzung umziehen: Verschwindet der gebundene Ausgang, geht die Sitzung auf einen anderen über.

Auf Ihrer Seite heißt die Aufgabe: die Antwort lesen. Ein 429 Too Many Requests bedeutet, dass der Client in einem bestimmten Zeitraum zu viele Anfragen gesendet hat, und RFC 6585 hält fest, dass der Standard nicht festlegt, wie der Server den Nutzer erkennt oder Anfragen zählt. Eine Website kann pro Konto, Cookie oder Sitzung zählen; ein Wechsel des Ausgangs setzt ihren Zähler also nicht zurück.

Die rücksichtsvolle Reaktion ist eine Pause (Cooldown): anhalten, warten und langsamer wiederkommen. Enthält die Antwort einen Retry-After-Header, sagt Ihnen sein Wert, in Sekunden oder als Datum, wie lange. Ein großer Pool verteilt die Last auf viele Adressen; eine höhere Gesamtrate macht er nicht akzeptabel.

Rotierend oder sticky: Wie ziehen Sie aus dem Pool?

Sie ziehen aus einem Pool entweder mit einem neuen Ausgang für jede neue Verbindung (rotierend) oder mit demselben Ausgang für eine Sitzung, die Sie benennen (sticky). Die Wahl entscheidet, wie viele verschiedene Adressen Ihr Job berührt.

Bei rotierender Auswahl kann ein Job mit 1.000 voneinander unabhängigen Seitenaufrufen bis zu 1.000 Adressen berühren. Bei einer Sticky-Sitzung hängen Sie eine Sitzungs-ID an den Benutzernamen an, und das Gateway hält diese ID auf einem Ausgang; bei unseren Residential- und Mobile-Proxys stellen Sie die Dauer zwischen 1 und 60 Minuten ein. Zwanzig Worker mit zwanzig Sitzungs-IDs nutzen gleichzeitig zwanzig Ausgänge. Rotieren Sie bei unabhängigen öffentlichen Seiten; bleiben Sie sticky bei allem mit Zustand, etwa einer Anmeldung, einem Warenkorb oder einer Paginierung.

Geteilt oder dediziert: Wer zieht noch aus dem Pool?

Aus einem geteilten Pool ziehen viele Kunden; ein dedizierter Pool ist eine Reihe von Adressen, die allein Ihnen zugeteilt sind. Gateway-Pools für Residential- und Mobile-Traffic sind geteilt: Der Ausgang, den Sie jetzt nutzen, kann eine Stunde später einen anderen Kunden bedienen.

Eine Adresse trägt ihre eigene Vorgeschichte, deshalb kann eine Website auf einen Ausgang wegen dessen reagieren, was vorher über ihn gesendet wurde. Braucht ein Job eine Adresse, die nur für Ihren Traffic steht, etwa für einen Eintrag in einer Allowlist oder ein langlebiges Konto, nehmen Sie eine dedizierte. Eine Reihe solcher Adressen ist meist gemeint, wenn von einem „privaten Proxy-Pool“ (Private Proxy Pool) die Rede ist.

Wann ist Ihr Pool eine Liste statischer IPs?

Ihr Pool ist eine statische Liste, wenn Sie feste, dedizierte Adressen mieten und die Arbeit selbst darauf verteilen. Unsere statischen ISP-Proxys bieten mehr als 240.000 dedizierte IPs in mehr als 20 Ländern, unser Datacenter-Proxy mehr als 2.000.000 dedizierte IPv4-Adressen in mehr als 50 Ländern, gehostet in Rechenzentren der Stufe TIER 3+.

Ein statischer Pool ist klein und berechenbar: vielleicht 10 oder 50 Adressen, jede bekannt, von Ihrem Code der Reihe nach gewählt und beiseitegelegt, sobald sie zu scheitern beginnt. Zwei Details gehören in die Planung. Diese Produkte pro IP werden für die Zielwebsite geliefert, die Sie bei der Bestellung angeben; die Nutzung auf allen Websites ist ein kostenpflichtiger Zusatz namens Access to all websites. Die Bandbreite ist bei statischen Produkten unbegrenzt, im Rahmen der Fair-Use-Richtlinie.

Wie viele IPs braucht ein Job wirklich?

Ein Job braucht so viele Adressen, wie er gleichzeitig Sitzungen betreibt, gezogen aus einem Ausschnitt, der groß genug ist, dass Wiederholungen für die Arbeit keine Rolle spielen. Hier ein Rechenbeispiel mit angenommenen Zahlen:

  • Der Job: täglich 12.000 öffentliche Produktseiten eines Onlinehändlers prüfen, so wie sie aus einem bestimmten Land erscheinen.
  • Das Tempo: Die Website verträgt von Ihnen insgesamt etwa eine Anfrage alle 7 Sekunden, rund 500 Seiten pro Stunde. Das Tempo bestimmt die Website, nicht der Pool.
  • Die Sitzungen: 4 Worker, jeder mit einer Sticky-Sitzung von 10 Minuten. Das sind 4 Ausgänge gleichzeitig und 4 × 6 × 24 = 576 Sitzungen pro Tag.
  • Der Ausschnitt: Ein Länderausschnitt mit einigen Tausend gesunden Ausgängen deckt 576 Sitzungen mit wenigen Wiederholungen ab; eine einzelne Stadt vielleicht nicht, was bei öffentlichen Seiten vertretbar ist.
  • Der Traffic: Bei 1,5 MB pro Seite samt Ressourcen bewegt der Tag etwa 18 GB. Diese Zahl, nicht die Zahl der IPs, wird bei einer Abrechnung pro GB berechnet.

Welche Fragen Sie zur Abrechnung vor dem Kauf stellen sollten, steht in Proxy kaufen: Worauf sollten Sie achten?.

Wie testen Sie einen Proxy-Pool?

Sie testen einen Pool mit einer Stichprobe: Senden Sie Anfragen über jeweils neue Verbindungen an einen Dienst, der Ihre IP zurückgibt, zählen Sie dann die verschiedenen Adressen und prüfen Sie ihre Standorte. Mit einem Länderziel und rotierender Auswahl sollte eine Stichprobe von 50 überwiegend verschiedene Adressen liefern.

bash
for i in $(seq 1 50); do
  curl -s -x http://user:pass@pr.proxynet.io:8000 https://api.ipify.org; echo
done | sort | uniq -c | sort -rn

Jeder curl-Aufruf öffnet seine eigene Verbindung, die Wiederverwendung von Verbindungen kann die Rotation also nicht verdecken, und wiederholte Adressen stehen oben in der Ausgabe. Die Zähl-Pipeline haben wir auf unserem Testrechner an einem kleinen lokalen Echo-Server geprüft; ersetzen Sie die Platzhalter-Anmeldedaten durch Ihre eigenen.

Steht in fast jeder Zeile dieselbe Adresse, ist eine Sticky-Sitzungs-ID oder eine statische Adresse im Spiel. Einige Wiederholungen in einem engen Stadtausschnitt sind normal. Um das Land jedes Ausgangs zu bestätigen und auf Leaks zu prüfen, folgen Sie Funktioniert mein Proxy? So testen Sie einen Proxy.

Wo Ihnen Proxy-Pools begegnen

Teams für Preisüberwachung nutzen Länder- oder Stadtausschnitte, um die Preise und Bestände zu sehen, die ein Käufer vor Ort sieht. Die Anzeigenprüfung (Ad Verification) kontrolliert, ob in jedem Markt die richtige Anzeige und die richtige Zielseite erscheinen, für In-App-Platzierungen oft über mobile Ausgänge. Teams für Lokalisierung und App-Tests prüfen vor einem Start Sprache, Währung und regionale Inhalte, mit Sticky-Sitzungen, damit ein mehrstufiger Ablauf auf einer Adresse bleibt. Die Marktforschung erfasst öffentliche Angebote über viele Regionen hinweg. Konten und APIs mit Allowlist liegen dagegen auf dedizierten statischen Adressen.

Häufige Fehler

  1. Den Pool nach seiner Schlagzeilenzahl beurteilen. Ihr Job nutzt den Ausschnitt, den Sie ansteuern, zu dieser Stunde, abzüglich pausierender Adressen.
  2. Eine Stadt ansteuern, wo das Land genügen würde. Ein engerer Ausschnitt liefert weniger verschiedene Ausgänge.
  3. Einen größeren Pool als Erlaubnis verstehen, schneller zu senden. Das Tempo bestimmt die Website. Ein 429 heißt: langsamer werden, egal über welchen Ausgang.
  4. Sofort über einen neuen Ausgang wiederholen. Hat die Website um eine Pause gebeten, ändert eine neue Adresse daran nichts.
  5. Allen Workern dieselbe Sitzungs-ID geben. Alle Worker teilen sich einen Ausgang und verhalten sich wie ein einziger Client.
  6. Einen geteilten Pool nutzen, wo eine Allowlist eine feste IP braucht. Ein geteilter Ausgang wechselt; eine Allowlist braucht eine dedizierte Adresse.

Entscheidungshilfe

BedarfEmpfehlung
Viele öffentliche Seiten, ein LandGateway-Pool, Länderausschnitt, rotierend
Anmeldung, Warenkorb oder mehrstufiger AblaufEine Sticky-Sitzung pro Ablauf
Was die Kunden eines Internetanbieters sehenResidential-Pool mit ASN-Targeting
In-App-Anzeigen oder Inhalte nur für MobilgeräteMobile-Pool, Länder- oder Stadtausschnitt
API-Allowlist oder langlebiges KontoDedizierte statische ISP- oder Datacenter-IP
Wenige feste Adressen, die Sie selbst verwaltenStatische Liste, im Code rotiert
Die Website antwortet mit 429Pause und niedrigere Rate, nicht mehr Ausgänge

Häufige Fragen

Was bedeutet Proxy-Pool?

Ein Proxy-Pool ist die Gruppe von Ausgangs-IP-Adressen, aus der ein Proxy-Dienst oder Ihr eigener Code für ausgehende Anfragen wählen kann. Statt einer einzigen Proxy-Adresse haben Sie viele, und jede Anfrage oder Sitzung geht nach den von Ihnen gesetzten Regeln über eine davon hinaus.

Wie viele Proxys brauche ich?

Sie brauchen so viele Adressen, wie Sie gleichzeitig Sitzungen betreiben, aus einem Ausschnitt, der groß genug ist, dass Wiederholungen Ihre Ergebnisse nicht beeinflussen. Gehen Sie vom Tempo aus, das die Zielwebsite akzeptiert, und von der Zahl Ihrer parallelen Worker. Bei einem Gateway-Pool kaufen Sie keine einzelnen Adressen; Sie wählen den Ausschnitt und zahlen für den Traffic.

Ist ein größerer Proxy-Pool immer besser?

Nein. Ein größerer Pool hilft nur, wenn der Ausschnitt, den Sie ansteuern, größer ist und zu Ihren Arbeitszeiten gesund bleibt. Für eine Website in einem Land zählt ein gut gepflegter Ausschnitt oft mehr als die Gesamtzahl. Für Allowlists und Konten eignet sich eine einzige dedizierte Adresse besser als jeder Pool.

Was ist der Unterschied zwischen einem Proxy-Pool und einem rotierenden Proxy?

Der Pool ist die Menge der Adressen; ein rotierender Proxy ist der Dienst, der für jede neue Verbindung eine neue Adresse daraus wählt. Rotation ist eine Art, aus dem Pool zu ziehen, und eine Sticky-Sitzung ist eine andere Art, aus demselben Pool zu ziehen.

Was ist ein privater Proxy-Pool?

Ein privater Proxy-Pool ist eine Reihe von Adressen, die nur Ihnen zugeteilt sind, meist statische ISP- oder Datacenter-Adressen. Solange sie Ihnen zugeteilt sind, sendet kein anderer Kunde Traffic darüber, ihre Vorgeschichte ist also Ihre eigene. Sie eignen sich für Konten, Allowlists und langfristige Überwachung.

Sind kostenlose Proxy-Pools sicher?

Kostenlose Proxy-Listen, die im Internet zusammengetragen werden, sind für alles Wichtige eine schlechte Wahl. Sie wissen nicht, wer die Server betreibt, die Betreiber können unverschlüsselten Traffic mitlesen oder verändern, und viele funktionieren schon nach wenigen Stunden nicht mehr. Nutzen Sie Proxys von einem Anbieter, mit dem Sie eine Vereinbarung haben.

Fazit

Ein Proxy-Pool ist die Menge der Ausgangsadressen, aus der ein Gateway oder Ihr eigener Code wählt. Das Gateway filtert den Pool auf Ihr Land, Ihre Stadt oder Ihr Netz, überspringt scheiternde und pausierende Ausgänge und wählt einen pro Verbindung oder pro Sitzung. Planen Sie einen Job vom Ausschnitt aus, nicht von der Schlagzeilenzahl: Zählen Sie die parallelen Sitzungen, prüfen Sie, ob der Ausschnitt groß genug für die Wiederholungen ist, die Sie hinnehmen können, halten Sie das Tempo ein, das die Website vorgibt, und testen Sie mit einer Stichprobe verschiedener Adressen. Nutzen Sie einen geteilten Gateway-Pool für öffentliche Arbeit an vielen Orten und eine dedizierte statische Adresse, wo sich eine Identität nicht ändern darf.

ChatGPT fragenClaude fragen