Die besten Proxys für Web Scraping - 2026

Ein Team, das den Preis von 4.000 Produkten bei Trendyol dreimal täglich erfassen will, startet am ersten Tag über die eigene Büroleitung. Die ersten paar hundert Anfragen laufen sauber durch, dann bleiben die Seiten leer, dann gibt der Server 429 zurück, und am Abend kommt über diese IP gar nichts mehr. Das Problem liegt nicht im Code: Eine Website, die aus derselben Adresse Hunderte Anfragen pro Minute sieht, hat diese Adresse als einen einzelnen automatisierten Client markiert. Hier kommt der Proxy ins Spiel — er verteilt die Anfragen auf verschiedene Ausgangsadressen, damit sich das Ratenlimit nicht auf einer einzigen Identität häuft.

In diesem Beitrag vergleichen wir fünf Anbieter, die 2026 Proxys für Web Scraping (Datenerhebung) verkaufen: Proxynet und vier globale Marken. Angesehen haben wir die Größe des Pools, den Preis pro GB, wie lange der Traffic gültig bleibt, die Targeting-Optionen und welche Proxy-Typen im selben Konto liegen. Die Zahlen der Wettbewerber stammen von deren eigenen Websites, Stand September 2026; eine Angabe, die der Anbieter nicht veröffentlicht, steht in der Tabelle als „—".

Warum braucht man für Web Scraping einen Proxy?#

Web Scraping ist die Arbeit, das HTML einer Seite herunterzuladen und daraus strukturierte Daten zu gewinnen; ein Proxy ist der Zwischenserver, der diese Anfrage in Ihrem Namen stellt. Erhält die Zielseite die Anfrage, sieht sie nicht Ihre Leitung, sondern die Ausgangsadresse des Proxys. Dieser Unterschied löst zwei Dinge. Erstens das Tempo: Zehn Anfragen pro Sekunde aus einer einzigen IP heben diese Adresse sofort über das Limit; werden dieselben zehn Anfragen auf zehn verschiedene Adressen verteilt, bleibt jede Adresse im Tempo eines gewöhnlichen Besuchers. Zweitens der Standort: Preis, Lagerbestand, Suchergebnis und Werbeinhalt ändern sich je nach Land und meist je nach Provinz, eine aus Istanbul betrachtete Seite liefert also andere Daten als eine aus Berlin betrachtete. Ohne Proxy sind die Daten, die Sie sammeln, nur die Version, die Ihr eigener Standort und Ihre eigene IP zu sehen bekommen.

Wofür wird ein Web-Scraping-Proxy eingesetzt?#

• Preis- und Bestandsüberwachung: Sie erfassen Preis und Lagerbestand auf Marktplätzen mehrmals täglich und aus verschiedenen Provinzen. Details: Preisüberwachung.
• Breit angelegtes Crawling: Beim Durchlaufen einer Website mit Tausenden Seiten durch gleichzeitige Worker verteilen sich die Anfragen auf die IPs. Details: Web Crawler.
• Strukturierte Datenextraktion: Sie bringen Anzeigen-, Produkt-, Bewertungs- und Firmendaten in ein geordnetes Schema. Details: Data Scraping.
• Verfolgung von Suchergebnis und Ranking: Sie messen, wie dieselbe Suchanfrage in verschiedenen Provinzen rankt. Details: SEO-Rank-Tracking.
• Arbeiten ohne Sperre: Ratenlimit, Sitzung und Header richten Sie zusammen mit dem Proxy-Pool ein. Details: Web Scraping ohne Sperren.

Worauf achten Sie bei der Wahl eines Proxys für Web Scraping?#

• Der Schutz des Ziels. Für einen öffentlich zugänglichen Katalog genügt eine Datacenter-IP; bei einem Ziel, das eine Anmeldung verlangt oder das Verhalten analysiert, braucht es eine Residential- oder Mobil-IP. Beide Typen in derselben Aufgabe zu nutzen, ist normal, deshalb ist es wichtig, dass beide im selben Panel liegen.
• Preismodell und Lebensdauer des Traffics. Residential-Proxys werden pro GB verkauft, Datacenter und festes ISP pro IP und Monat. Der eigentliche Unterschied liegt darin, wann das gekaufte Recht endet: Im Modell mit monatlichen Krediten verfällt ungenutzter Traffic am Monatsende oder nach 60 Tagen, im Guthabenmodell verfällt er nicht.
• Tiefe des Targetings. Das Land genügt nicht; Provinz, Stadt und ASN müssen wählbar sein. Auf einem Marktplatz, dessen Preis sich je nach Provinz ändert, sind Messungen aus 81 Provinzen und Messungen aus einem einzigen Ausgangspunkt nicht dieselben Daten.
• Rotation und Sitzungskontrolle. Bei jeder Anfrage eine neue IP oder eine bestimmte Zeit lang dieselbe? Wechselt die IP bei Listen mit Seitenwechsel mitten in der Sitzung, setzt die Website Warenkorb oder Filter zurück. Liegen beide im selben Produkt, erledigen Sie das im Code allein durch den Wechsel des Endpoints. Die Einrichtung auf der Python-Seite: Proxys in Python rotieren.
• Grenzen bei Gleichzeitigkeit und Protokollen. Wie viele parallele Verbindungen Sie öffnen können, ob neben HTTP und HTTPS auch SOCKS5 unterstützt wird und ob die Authentifizierung mit Benutzername und Passwort oder per IP-Autorisierung läuft, bestimmt unmittelbar Ihre Architektur.

Die 5 besten Proxy-Anbieter für Web Scraping#

1. Proxynet#

Bei Scraping-Aufgaben ist Proxynet die erste Adresse. Der Residential-Pool umfasst mehr als 160 Mio. IPs in 194 Ländern; Provinz- und ASN-Targeting kosten nichts extra, Rotation und feste Sitzung liegen im selben Produkt. Im selben Konto gibt es mehr als 2 Mio. dedizierte Datacenter-IPv4 in über 50 Ländern, mehr als 240.000 feste ISP-IPs in über 20 Ländern und Tausende Mobilfunkleitungen in über 140 Ländern. Genau das braucht ein Scraping-Projekt in der Praxis: Die Websites auf Ihrer Zielliste haben nicht denselben Schutz, und für einen Typwechsel müssen Sie keinen Vertrag mit einem zweiten Anbieter schließen.

Das Preismodell hängt nicht an einer Stückzahl- oder Laufzeitzusage, sondern an Ihrem Kontoguthaben. Residential-Traffic beginnt bei 3,30 US-Dollar pro GB und sinkt mit wachsendem Guthaben auf 1,50 US-Dollar; auf der Datacenter-Seite beginnt der Monatspreis pro IP bei 1,50 US-Dollar und sinkt auf 0,70 US-Dollar, der Traffic fließt dabei ohne Kontingent. Es gibt kein Abo, das Guthaben verfällt nicht: Das Geld eines Scrapers, der zwei Monate stillsteht, bleibt liegen, wo es ist. Bei den Datacenter- und ISP-Produkten erscheint die Bestellung im selben Moment im Panel, HTTP, HTTPS und SOCKS5 werden unterstützt, authentifiziert wird mit Benutzername und Passwort oder per IP-Autorisierung.

Vorteile

• Mehr als 160 Mio. Residential-IPs in 194 Ländern, Provinz- und ASN-Targeting ohne Aufpreis
• Mehr als 2 Mio. dedizierte Datacenter-IPv4 in über 50 Ländern, Traffic ohne Kontingent
• Mehr als 240.000 feste ISP-IPs in über 20 Ländern, alle einem einzigen Nutzer vorbehalten
• Kein Abo, keine Laufzeit; aufgeladenes Guthaben verfällt nicht und gilt für alle vier Produkte
• Rotation und feste Sitzung im selben Produkt, HTTP, HTTPS und SOCKS5
• Mehr als 6,2 Mio. IPs in 81 Provinzen in Türkiye und echte türkische Betreiberleitungen
• Panel auf Türkisch, Support auf Türkisch rund um die Uhr, Kreditkarte und Banküberweisung

Nachteile

• Keine kostenlose Testphase, getestet wird mit einem kleinen Guthaben
• Die Web-Scraper-API wird derzeit über das Vertriebsteam vergeben
• Es werden weder fertige Scraper-Vorlagen noch Datensätze verkauft, den Endpoint binden Sie selbst in Ihren Code ein

Für wen: Teams mit gemischter Zielliste, die ihr Budget nicht an ein Monatsabo binden wollen und Daten aus Türkiye sammeln.

2. Bright Data#

Der größte Residential-Pool der Liste: mehr als 400 Mio. IPs. Auf der Datacenter-Seite stehen 98 Länder und 46.592 IPs, die der Anbieter für Türkiye ausweist. Der Residential-Preis pro GB beginnt bei 8 US-Dollar und sinkt mit Gutschein auf 4 US-Dollar; die niedrigste Zahl, 3 US-Dollar, hängt an einem Tarif von monatlich 999 US-Dollar, und der Traffic aus dem Tarif verfällt, wenn er nicht innerhalb eines Monats verbraucht wird. Beim Scraping verkauft der Anbieter neben Proxys auch eine Familie fertiger APIs und Datensätze.

Vorteile

• Der größte Residential-Pool der Liste
• Datacenter-Proxys in 98 Ländern und 46.592 Datacenter-IPs in Türkiye
• Targeting nach Stadt, Postleitzahl und ASN
• Breite Familie von Scraper-APIs, Datensätze und Proxy-Manager

Nachteile

• Der Residential-Einstiegspreis liegt bei 8 US-Dollar pro GB, dem höchsten der Liste
• Der niedrigste GB-Preis hängt an einem Tarif von monatlich 999 US-Dollar, dessen Traffic in einem Monat verfällt
• Der Preis für Mobil-Proxys wird nicht veröffentlicht
• Kein Panel auf Türkisch, kein Support auf Türkisch, keine lokale Zahlung

Für wen: Unternehmensteams, die Budget für fertige Datensätze und APIs haben.

3. Oxylabs#

Ein auf Unternehmen ausgerichteter Anbieter mit mehr als 175 Mio. Residential-IPs. Der Preis pro GB beginnt bei 6 US-Dollar und sinkt in den oberen Tarifen auf 2,50 US-Dollar. Auf der Mobil-Seite werden mehr als 20 Mio. IPs in über 140 Ländern und feste Sitzungen von bis zu 24 Stunden geboten. Die 6.850.844 IPs, die der Anbieter für Türkiye ausweist, sind die höchste Länderzahl in dieser Liste. Den Test gibt es nicht im Self-Service, sondern über das Vertriebsteam oder den Live-Support.

Vorteile

• Mehr als 175 Mio. Residential-IPs
• Die höchste veröffentlichte IP-Zahl für Türkiye
• Mobil-Proxys in über 140 Ländern, feste Sitzung bis zu 24 Stunden
• Familie der Web-Scraper-APIs und Kundenbetreuer

Nachteile

• Kein Test im Self-Service, nur über das Vertriebsteam
• Kein fester ISP-Proxy in Türkiye
• Auf der Datacenter-Seite haben wir weder einen überprüfbaren Pool noch einen Preis gefunden
• Kein Panel auf Türkisch, kein Support auf Türkisch, keine lokale Zahlung

Für wen: Teams mit Unternehmensbudget, die einen Kundenbetreuer und eine fertige API wollen.

4. SOAX#

Mit mehr als 155 Mio. Residential-IPs steht der Anbieter in der Mitte der Liste. Der Preis hängt an zwei Variablen: daran, in welcher Stufe das Zielland liegt, und an Ihrem Monatstarif. In der zweiten Stufe, in der auch Türkiye liegt, beginnt der GB-Preis bei 3,75 US-Dollar und sinkt im Unternehmenstarif von monatlich 3.000 US-Dollar bis auf 0,35 US-Dollar — die niedrigste GB-Zahl dieser Liste. Für Türkiye werden 49 Städte und die Namen der türkischen Betreiber veröffentlicht.

Vorteile

• Mehr als 155 Mio. Residential-IPs
• In der Unternehmensstufe sinkt der GB-Preis an das untere Ende dieser Liste
• Für Türkiye werden 49 Städte und die Namen der türkischen Betreiber veröffentlicht
• Bei Mobil-Proxys feste Sitzung bis zu 60 Minuten

Nachteile

• Bei monatlicher Abrechnung verfallen die Kredite nach 60 Tagen
• Die niedrigsten Preise hängen an einem Unternehmenstarif von monatlich 3.000 US-Dollar
• Kein festes ISP-Produkt
• Der Test kostet: 3 Tage, 400 MB

Für wen: Teams mit hohem Volumen, die in einen monatlichen Unternehmenstarif einsteigen und die Kredite rechtzeitig verbrauchen können.

5. Decodo#

Früher Smartproxy. Es gibt mehr als 115 Mio. Residential-IPs, der GB-Preis beginnt bei 4 US-Dollar und sinkt auf 2 US-Dollar. Auf der Datacenter-Seite zählt der Anbieter mehr als 500.000 IPs, dedizierte Datacenter-IPs werden aber nur in fünf Ländern verkauft; auf der Mobil-Seite meldet er mehr als 700 Betreiberleitungen. Es gibt einen dreitägigen, kostenlosen Test mit 100 MB; wer ihn nutzt, verliert das Recht auf Rückerstattung binnen 14 Tagen.

Vorteile

• Der Residential-Preis pro GB beginnt bei 4 US-Dollar
• Dreitägiger, kostenloser Test mit 100 MB
• Targeting nach Stadt und ASN
• Mobil-Proxys mit mehr als 700 Betreiberleitungen

Nachteile

• Dedizierte Datacenter-IPs nur in fünf Ländern
• Wer den Test nutzt, verliert das Recht auf Rückerstattung binnen 14 Tagen
• Keine veröffentlichte Residential-IP-Zahl für Türkiye
• Kein Panel auf Türkisch, kein Support auf Türkisch, keine lokale Zahlung

Für wen: Teams mit mittlerem Volumen, die zuerst mit einem kleinen Test beginnen wollen.

Vergleichstabellen#

Die Zahlen stammen von den Websites der Anbieter, Stand September 2026. „—" ist eine Angabe, die der Anbieter nicht veröffentlicht.

Residential-Pool und GB-Preis#

In der Pool-Spalte steht die größte Zahl bei Bright Data; beim Einstiegspreis steht Proxynet am unteren Ende der Liste. Die 0,35 US-Dollar von SOAX sind der Preis des Unternehmenstarifs von monatlich 3.000 US-Dollar, die 3 US-Dollar von Bright Data der eines Tarifs von monatlich 999 US-Dollar; beides sind keine Preise, die man mit einem kleinen Konto erreicht. Bei Proxynet bestimmt nicht eine monatliche Zusage die Stufe, sondern das Kontoguthaben.

Traffic, Abo und Test#

Diese Tabelle zeigt die Stelle, an der das Scraping-Budget am meisten verliert: Wird der gekaufte Traffic nicht innerhalb eines Monats oder in 60 Tagen verbraucht, wird er gelöscht. In einem saisonal arbeitenden Projekt zur Preisüberwachung heißt das, einen Teil der bezahlten GB zu verlieren, ohne ihn je genutzt zu haben. Bei Proxynet verfällt das Guthaben nicht, ein drei Monate ruhendes Projekt läuft mit demselben Guthaben weiter. In der Test-Spalte sticht Decodo hervor; bei Proxynet lädt man statt eines Tests ein kleines Guthaben auf.

Datacenter-Seite#

Bei schwach geschützten Zielen bestimmt diese Tabelle die Kosten: Eine Datacenter-IP wird nicht pro GB verkauft, sondern pro IP und Monat. Bright Data liegt bei der Zahl der Länder vorn; Proxynet steht bei der Größe des Pools an der Spitze und beim Monatspreis pro IP am unteren Ende dieser Liste. Die dedizierten Datacenter-IPs von Decodo werden nur in fünf Ländern verkauft, und bei Oxylabs und SOAX haben wir keine überprüfbare Datacenter-Zahl gefunden.

Warum Proxynet beim Web Scraping?#

Guthaben ohne Verfall, kein Abo#

Die Scraping-Last ist nicht gleichmäßig: In der Kampagnenwoche steigt sie auf das Zehnfache, danach steht sie wochenlang still. Im Modell mit monatlichen Krediten ist dieses Auf und Ab unmittelbar ein Verlust, denn ungenutzter Traffic wird am Monatsende oder nach 60 Tagen gelöscht. Bei Proxynet verfällt das aufgeladene Guthaben nicht und gilt bei allen Produkten: Residential, Datacenter, ISP und Mobil. Details: Residential-Proxy.

194 Länder, Provinz- und ASN-Targeting#

Der Residential-Pool verteilt sich auf 194 Länder und umfasst mehr als 160 Mio. IPs. Provinz- und ASN-Targeting kosten nichts extra: Wollen Sie aus einer bestimmten Stadt oder aus dem Netz eines bestimmten Betreibers ausleiten, hängen Sie dem Endpoint einen Parameter an. Auf einem Marktplatz, dessen Preis sich je nach Provinz ändert, hängt die Richtigkeit der Messung unmittelbar an diesem Detail.

Vier Proxy-Typen im selben Konto#

Die Zielliste eines Scraping-Projekts ist nicht einheitlich. Für öffentlich zugängliche Kataloge Datacenter-Proxy, für geschützte Ziele Residential-Proxy, für Panels mit Anmeldung ISP-Proxy, für die APIs mobiler Apps Mobile-Proxy — alles im selben Panel. Der Typwechsel ist kein neuer Vertrag, sondern eine Änderung des Endpoints.

Die Seite Türkiye: 81 Provinzen und echte Betreiberleitungen#

In Türkiye gibt es mehr als 6,2 Mio. IPs in 81 Provinzen; auf der Seite des festen ISP sind es mehr als 120.000 IPs aus Türkiye sowie Leitungen von Türk Telekom, Superonline, TurkNet und Vodafone Net. Das Netz von Türk Telekom ist als AS9121 registriert, eine Anfrage aus diesem Netz sieht die Zielseite also als gewöhnlichen Endkunden-Traffic. Details nach Land: Proxy für Türkiye.

Panel auf Türkisch, Support auf Türkisch, lokale Zahlung#

Das Panel ist auf Türkisch, der Support antwortet rund um die Uhr auf Türkisch, bezahlt wird per Kreditkarte oder Banküberweisung (Havale/EFT). Keiner der vier globalen Anbieter der Liste hat Support auf Türkisch oder lokale Zahlung.

Woran erkennt eine Website einen Scraper?#

Die Erkennung steht auf vier Beinen, und alle vier arbeiten unabhängig vom Proxy; der Proxy wirkt nur auf das erste und das zweite.

Anfragetempo und 429. Die einfachste Messung ist, wie viele Anfragen eine IP in einem bestimmten Zeitfenster stellt. Ist die Grenze überschritten, gibt der Server den in RFC 6585 definierten Code 429 Too Many Requests zurück und legt der Antwort meist einen Retry-After-Header bei. Dieser Header ist keine Empfehlung, sondern die Wartezeit, die Ihnen die Website nennt: Sich an den Wert zu halten und die Anfrage entsprechend zu verzögern, ist gesünder, als die IP zu wechseln und im selben Tempo weiterzumachen. Bei welchem Statuscode Sie warten und bei welchem Sie aufhören sollten, haben wir in HTTP-Statuscodes beim Web Scraping beschrieben.

IP-Reputation. Jede IP ist bei einer Autonomen Systemnummer registriert, und dieser Eintrag ist öffentlich. Ob die Adresse einem Hosting-Unternehmen oder einem Zugangsanbieter gehört, ob in ihrer Vorgeschichte automatisierter Traffic aufgetaucht ist und wie es um die Nachbaradressen steht, ergibt zusammen einen Reputationswert. Zwanzig IPs aus demselben /24-Block sind für die Zielseite meist wie eine einzige Adresse: Wird eine markiert, wird der Block markiert.

Signatur des TLS-Handshakes. Beim Aufbau einer HTTPS-Verbindung sendet der Client die von ihm unterstützten Cipher Suites und Erweiterungen in einer bestimmten Reihenfolge. Diese Liste unterscheidet sich von Client zu Client; das TLS-Parameterregister der IANA hält fest, welche Werte es überhaupt gibt. Auf der Serverseite wird aus dieser Reihenfolge eine Zusammenfassung gebildet und in eine Signatur verwandelt, und so wird erkennbar, aus welcher Art von Client die Verbindung kommt. Die Signatur einer HTTP-Bibliothek ändert sich nicht durch einen User-Agent-Header, der wie ein Browser aussieht.

Browser-Fingerprint. Bei Zielen, die JavaScript ausführen, ergeben Bildschirmmaße, Schriftartenliste, WebGL- und Canvas-Ausgaben, Zeitzone und Spracheinstellungen zusammen eine Identität. Passt diese Identität nicht zu dem Land, das der Proxy zeigt — etwa wenn ein über eine Istanbuler IP verbundener Browser als Zeitzone Los Angeles meldet —, ist das für sich genommen ein Signal. Details: Browser-Fingerprinting.

All diese Mechanismen hat die Website eingerichtet, um ihre eigene Infrastruktur zu schützen. Der richtige Weg ist nicht, sie zu umgehen, sondern Ihre Anfrage in einen Zustand zu bringen, den die Website tragen kann: die Regeln der robots.txt einhalten, den Wert von Retry-After respektieren, nachts mit niedrigem Tempo arbeiten und, falls vorhanden, die offizielle API nutzen. Die Form der Robots-Regeln ist in RFC 9309 definiert. Bei Quellen, die eine Anmeldung verlangen, kostenpflichtig sind oder personenbezogene Daten enthalten, ist eine Erlaubnis keine Wahl, sondern Pflicht; den rechtlichen Rahmen haben wir in Ist Web Scraping legal? Ein Überblick zusammengetragen.

Welcher Proxy-Typ für welches Ziel?#

Wählen Sie den Proxy-Typ nicht nach Ihrer Aufgabe, sondern danach, wie das Ziel geschützt ist. Alle vier Typen in demselben Projekt zu nutzen, ist üblich.

Öffentlich zugänglicher Katalog. Für Listen ohne Anmeldung und ohne JavaScript sowie für API-Endpoints genügt eine Datacenter-IP; die Kosten fallen pro IP und Monat an, mit wachsendem Volumen sinken die Stückkosten.

Website mit Anmeldung. Auf Seiten, die ein Panel und ein Konto verlangen, muss die IP fest bleiben; wechselt die Adresse bei jeder Anfrage, beendet die Website die Sitzung und verlangt eine zweite Bestätigung.

Website mit strengem Bot-Schutz. Bei Zielen, die das Verhalten analysieren, kommt es darauf an, dass die IP bei einem Zugangsanbieter registriert ist und aus der richtigen Provinz ausleitet; der Residential-Pool liefert beides zusammen.

API einer mobilen App. Bei Endpoints, die nur aus der mobilen App erreichbar sind, müssen Sie aus dem Betreibernetz ausleiten; der Mobil-Proxy sendet die Anfrage über eine echte GSM-Leitung.

Stiller Ausfall: 200 kommt zurück, aber keine Daten#

Der teuerste Fehler in Scraping-Projekten ist nicht, gesperrt zu werden, sondern nicht zu merken, dass man gesperrt wurde. Der Server gibt 200 zurück, der Code wirft keinen Fehler, die Zahl der Datensätze sieht normal aus; was in die Datenbank geschrieben wird, sind aber keine echten Daten mehr. Es gibt vier typische Formen.

Honeypot-Links. Links, die der Nutzer nicht sieht und die nur im HTML stehen, sind eine Falle: Ein gewöhnlicher Besucher klickt sie nicht an, ein automatisierter Crawler schon. Wird geklickt, markiert die Website die Anfrage und beginnt, Ihnen Seiten zu liefern, die normal aussehen, innen aber falsch sind. Als einfache Regel genügt es, Links mit display:none oder visibility:hidden nicht zu folgen. Details: Honeypot-Fallen.

Leeres Template. Manche Websites geben dem gesperrten Client keinen Fehler zurück, sondern ein Seitengerüst ohne Daten. Die Produktliste kommt als leeres div, der HTTP-Code lautet 200. Meist tritt das bei Seiten auf, die per JavaScript gefüllt werden; das rohe HTML vom Server und die Seite, die der Browser sieht, sind nicht dasselbe. Der Unterschied der beiden: Statische und dynamische Seiten.

Änderung des Schemas. Aktualisiert eine Website ihr Design, ändern sich Klassennamen und DOM-Struktur; Ihre Selektoren finden nichts mehr und jeder Datensatz bleibt leer. Aus Sicht des Codes gibt es keinen Fehler, das Ergebnis ist leer. Die Selektoren nicht an den Klassennamen, sondern an eine stabilere Struktur zu binden, senkt das Risiko: CSS-Selektor oder XPath.

Inhalt aus dem falschen Land oder in der falschen Sprache. Leitet der Proxy nicht in dem Land aus, das Sie erwarten, antwortet die Website mit einer anderen Währung, einer anderen Sprache und einem anderen Lagerbestand. Die Daten sehen sauber aus, unstimmig ist allein ihre Bedeutung: Sie vergleichen aus Deutschland gezogene Preise mit einer Kampagne in Türkiye.

Der Schutz davor ist eine einzige Gewohnheit: Halten Sie bei jedem Lauf ein paar Kontrollwerte fest. Die Zahl der Datensätze pro Seite, die Länge des Antwortkörpers, Währung und Sprachkennzeichen auf der Seite und das Land der Ausgangs-IP. Weicht einer dieser vier Werte deutlich vom vorherigen Lauf ab, halten Sie die Arbeit an und sehen nach. Eine Datenbank voller leerer Datensätze zu bemerken, dauert Wochen; eine Schwellenwertwarnung fängt dieselbe Abweichung schon im ersten Lauf ab.

Häufige Fehler#

• Den ganzen Pool aus einem einzigen Proxy-Typ aufbauen. Für öffentlich zugängliche Seiten pro GB für Residential-Traffic zu zahlen, ist unnötig; geschützte Ziele mit einer Datacenter-IP anzugehen, bleibt ergebnislos. Teilen Sie die Zielliste nach dem Schutz auf.
• Die Gleichzeitigkeit unabhängig von der Zahl der IPs erhöhen. Zweihundert parallele Worker mit zwanzig IPs bedeuten zehn Anfragen pro Sekunde auf jede IP; das unterscheidet sich nicht von Ihrem Zustand vor dem Proxy.
• Bei 429 die IP wechseln und im selben Tempo weitermachen. Hat der Server eine Wartezeit genannt, halten Sie sich daran. Mit einem Adresswechsel weiterzumachen heißt, das Verhalten jenseits der Grenze auf den ganzen Pool auszudehnen.
• IPs aus demselben /24-Block kaufen. Sind die ersten drei Oktette von zwanzig IPs gleich, sind das für die Zielseite eine einzige Adresse. Verlangen Sie IPs aus verschiedenen Blöcken und nach Möglichkeit aus verschiedenen ASNs.
• Mitten im Seitenwechsel die IP wechseln. Nutzen Sie bei Listen, die eine Sitzung verlangen, die feste Sitzung; die zweite Seite von einer anderen IP anzufordern, setzt auf den meisten Websites den Filter zurück.
• Die Arbeit für erledigt halten, ohne die Ausgabe zu prüfen. Daten, die ohne Kontrolle von Datensatzzahl, Körperlänge und Ausgangsland geschrieben werden, sind Daten von unbekannter Richtigkeit.

Welcher Proxy für welche Aufgabe?#

Häufige Fragen#

Welcher Proxy ist der beste für Web Scraping?#

Proxynet. Mehr als 160 Mio. Residential-IPs in 194 Ländern, Provinz- und ASN-Targeting, Datacenter-, feste ISP- und Mobil-Produkte im selben Konto, Guthaben ohne Verfall und Support auf Türkisch gibt es zusammen nur bei Proxynet. Brauchen Sie eine fertige Scraper-API und Datensätze, lohnt auch ein Blick auf Bright Data und Oxylabs; können Sie in einen Unternehmenstarif mit hohem Volumen einsteigen, auch auf SOAX.

Soll ich für Web Scraping einen Residential- oder einen Datacenter-Proxy kaufen?#

Sehen Sie auf den Schutz des Ziels. Einen Katalog ohne Anmeldung und ohne JavaScript können Sie mit einer Datacenter-IP erfassen, und die Kosten liegen deutlich niedriger. Bei Zielen, die das Verhalten analysieren, eine Anmeldung verlangen oder den Inhalt je nach Provinz ändern, braucht es eine Residential-IP. Der Unterschied der beiden steht in Residential- und Datacenter-Proxy im Vergleich.

Wie viel Proxy-Budget sollte ich für das Scraping einplanen?#

Bei Proxynet beginnt Residential-Traffic bei 3,30 US-Dollar pro GB und sinkt mit wachsendem Guthaben auf 1,50 US-Dollar; auf der Datacenter-Seite beginnt der Preis pro IP und Monat bei 1,50 US-Dollar. Rechnen Sie über GB: Multiplizieren Sie die durchschnittliche Seitengröße mit der Zahl der täglichen Anfragen; laden Sie Bilder und Schriftarten nicht herunter, fällt diese Zahl weit niedriger aus als erwartet.

Mit wie vielen IPs sollte ich beginnen?#

Rechnen Sie vom Ratenlimit des Ziels rückwärts: Messen Sie, wie viele Anfragen eine IP pro Minute bequem schafft, teilen Sie die tägliche Gesamtzahl der Anfragen durch diesen Wert und verdoppeln Sie das Ergebnis. Weil der Pool auf der Residential-Seite rotierend geliefert wird, geht es dort nicht um die Stückzahl, sondern um die Grenze der Gleichzeitigkeit; auf der Datacenter- und ISP-Seite ist die gekaufte Zahl der IPs ausschlaggebend.

Ich bekomme 429, soll ich die Zahl der Proxys erhöhen?#

Senken Sie zuerst das Tempo. 429 ist das Ergebnis eines Verhaltens, nicht einer IP: Erhöhen Sie die Zahl der Proxys und machen Sie im selben Gesamttempo weiter, laufen Sie mit einem breiteren Pool in dieselbe Grenze. Halten Sie sich an den Wert von Retry-After in der Antwort, legen Sie Verzögerungen zwischen die Anfragen und vergrößern Sie erst danach den Pool.

Wird Web Scraping durch die Nutzung eines Proxys legal?#

Nein. Ein Proxy ändert nur, von wo die Anfrage ausgeht; was Sie sammeln und was Sie mit diesen Daten tun, bleibt gleich. Für personenbezogene Daten, urheberrechtlich geschützte Inhalte und Quellen hinter einer Anmeldung gelten mit Proxy dieselben Regeln. Die Grenzen haben wir in Ist Web Scraping legal? Ein Überblick zusammengetragen.

Fazit#

Über das Ergebnis beim Scraping entscheidet nicht die Gesamtgröße des Pools; entscheidend ist, den zum Schutz des Ziels passenden Typ wählen zu können, aus der richtigen Provinz auszuleiten und nicht unter dem Druck zu stehen, den gekauften Traffic vor Ablauf zu verbrauchen. Der Anbieter, der diese drei Bedingungen zusammen erfüllt und darüber hinaus Panel und Support auf Türkisch bietet, ist Proxynet. Die Details des Produkts stehen auf der Seite Residential-Proxy, alle Produkte auf der Seite unsere Proxy-Dienste.