Die besten Proxys gegen CAPTCHAs - 2026

Sie haben ein Skript geschrieben, das jeden Morgen den Preis von hundert Produkten bei Trendyol erfasst. Am ersten Tag lief es sauber durch, am dritten Tag kam ab dem vierzigsten Produkt statt der Seite ein Prüfbildschirm. Dasselbe begegnet Ihnen bei der Rangkontrolle auf Google.com.tr als Warnung „ungewöhnlicher Datenverkehr", auf sahibinden.com als Kasten anstelle der Anzeigenliste und bei Instagram als zusätzliche Prüfung beim Login. Das sichtbare Ergebnis ist dasselbe, der Grund ist es nicht: Auf wen die ausgehende IP registriert ist, wie viele Anfragen pro Minute über sie laufen und welche Spuren der Browser hinterlässt, wird jeweils einzeln gewichtet.

Dieser Beitrag erklärt, warum der Prüfbildschirm erscheint, wie stark der Proxy-Typ diese Häufigkeit verändert und was Sie tun, um ihn nicht auszulösen; am Ende vergleichen wir fünf Anbieter für diese Aufgabe. Die Zahlen der Wettbewerber stammen von deren eigenen Websites, Stand September 2026; eine Angabe, die der Anbieter nicht veröffentlicht, steht in der Tabelle als „—".

Warum braucht man gegen CAPTCHAs einen Proxy?#

Ein CAPTCHA ist ein Test, der zu messen versucht, ob eine Anfrage von einem Menschen oder von einem Programm kommt; die Notiz des W3C zur Barrierefreiheit dieser Tests zählt auch die Grenzen der Methode offen auf. Eine Website zeigt diesen Test nicht jedem Besucher, sondern erst, wenn eine Risikoschwelle überschritten ist. An erster Stelle der Signale, die diese Schwelle bestimmen, steht das Netz, aus dem die Anfrage kommt: Liegt die IP im Block eines Hosting-Unternehmens, sind in kurzer Zeit viele Anfragen über dieselbe Adresse gelaufen oder war diese Adresse schon einmal an einem gemeldeten Missbrauch beteiligt, steigt der Risikowert. Der Proxy verändert nur den ersten Teil dieser Gleichung, aber es ist der Teil mit dem größten Gewicht. Der Prüfbildschirm, der nach hundert Anfragen aus einem Rechenzentrumsblock kommt, erscheint meist gar nicht, wenn Sie dieselbe Arbeit über einen echten Endkundenanschluss und in vernünftigem Tempo erledigen.

Wofür hilft ein Proxy beim CAPTCHA-Problem?#

• Er bewahrt die Datenerhebung davor, mittendrin abzubrechen. Jede Anfrage, die einen Prüfbildschirm zurückbekommt, ist eine verlorene Anfrage; hält das Skript ihn für Daten und speichert ihn, schreibt es eine leere Zeile in Ihre Tabelle. Details: Data Scraping.
• Er sorgt dafür, dass Sie bei der Preisüberwachung zu jeder Tageszeit dasselbe Ergebnis bekommen. Marktplätze senken die Schwelle zu Stoßzeiten, und ein Skript, das morgens mit einer einzigen IP läuft, bleibt abends stecken. Details: Preisüberwachung.
• Er lässt Sie prüfen, wie eine Anzeige im Zielland aussieht. Werbenetzwerke filtern Traffic aus Rechenzentren heraus; ohne echte Endkunden-IP ist die Seite, die Sie sehen, nicht die Seite, die der Nutzer sieht. Details: Anzeigenprüfung.
• Er stellt die Suchanfrage vom richtigen Standort aus. Das Ergebnis desselben Begriffs ändert sich von Provinz zu Provinz, und die Abfragegeschwindigkeit füllt die Schwelle schnell. Details: SEO-Rank-Tracking.
• Er lässt die Anmeldung bei Social-Media-Konten gewöhnlich wirken. Wer sich bei einem Konto jedes Mal aus einem anderen Land und über einen anderen Betreiber anmeldet, bekommt eine zusätzliche Prüfung. Details: Instagram-Proxy.

Worauf achten Sie bei der Wahl eines Proxys gegen CAPTCHAs?#

• Die Art des Netzes, auf das die IP registriert ist. Jeder IP-Block ist auf eine Autonome-System-Nummer registriert, und diese Registrierung ist öffentlich. Zeigt sie auf einen Internetanbieter, sieht die Anfrage wie gewöhnlicher Endkunden-Traffic aus; zeigt sie auf ein Hosting-Unternehmen, gilt dieselbe Anfrage von vornherein als riskant.
• Die Streuung des Pools. Wichtiger als die Gesamtzahl der IPs ist, auf wie viele verschiedene Blöcke und wie viele verschiedene Netze sich die Adressen verteilen. Hundert IPs aus demselben Block sind für die Zielseite fast eine einzige IP; wird eine markiert, werden auch ihre Nachbarn markiert.
• Die Feinheit des Standort-Targetings. Das Land genügt nicht. Wollen Sie in Türkiye Preise erfassen, ändert es sowohl das Ergebnis als auch den Risikowert, ob die Anfrage aus Istanbul oder aus Erzurum kommt; kostet die Wahl von Provinz und ASN extra, wächst der Aufwand schnell.
• Kontrolle über die Sitzungsdauer. Manche Aufgaben verlangen bei jeder Anfrage eine neue IP, andere fünfzehn Minuten auf derselben Adresse. Können Sie beides im Panel einstellen, und wo liegt die Obergrenze der festen Sitzung?
• Preismodell und Lebensdauer des Traffics. Ab welchem Volumen gilt der Preis pro GB, und hat der gekaufte Traffic eine Laufzeit? Ein Tarif, dessen Kredite nach 60 Tagen verfallen, kommt bei einer Überwachungsaufgabe, die nur an ein paar Tagen im Monat läuft, teurer als sein Preis auf dem Papier.

Die 5 besten Proxy-Anbieter gegen CAPTCHAs#

1. Proxynet#

Wollen Sie den Prüfbildschirm auf ein Minimum senken, ist Proxynet die erste Adresse. Der Residential-Pool umfasst mehr als 160 Mio. echte Endkunden-IPs in 194 Ländern; Provinz- und ASN-Targeting sind kostenlos, Sie leiten die Anfrage also nicht nur aus Türkiye aus, sondern aus Konya und aus dem Netz eines bestimmten Betreibers. Auf der Seite von Türkiye gibt es 6,2 Mio. IPs, verteilt über alle 81 Provinzen. Auf der Mobil-Seite stehen Tausende Betreiberleitungen, darunter Turkcell, Vodafone und Türk Telekom, und mehr als 140 Länder zur Verfügung; den Betreiber wählen Sie im Panel oder über die API, die feste Sitzung legen Sie selbst zwischen 1 und 60 Minuten fest. Für Kontoarbeiten, die lange Sitzungen brauchen, werden mehr als 240.000 feste ISP-IPs in über 20 Ländern verkauft, mehr als 120.000 davon liegen in Türkiye und stützen sich auf Leitungen von Türk Telekom, Superonline, TurkNet und Vodafone Net.

Das Preismodell hängt nicht an einem Abo, sondern an Ihrem Guthaben. Residential-Traffic beginnt bei 3,30 US-Dollar pro GB und sinkt mit wachsendem Guthaben auf 1,50 US-Dollar; auf der Mobil-Seite liegt der Einstieg bei 5,50 US-Dollar. Es gibt keine monatliche Zusage, keine Mindestbestellung und keine Laufzeit der Kredite: Aufgeladenes Guthaben verfällt nicht und gilt bei allen Produkten, Residential, Mobil, ISP und Datacenter. Bei einem Rank-Tracking, das drei Tage im Monat läuft, entscheidet dieser Unterschied mehr als der GB-Preis selbst. Das Panel ist auf Türkisch, der Support antwortet rund um die Uhr auf Türkisch, bezahlt wird per Kreditkarte oder Banküberweisung (Havale/EFT).

Vorteile

• Mehr als 160 Mio. echte Endkunden-IPs in 194 Ländern
• Provinz- und ASN-Targeting kostenlos; in Türkiye alle 81 Provinzen
• Auf der Mobil-Seite Leitungen von Turkcell, Vodafone und Türk Telekom
• Die Dauer der festen Sitzung wählen Sie selbst, zwischen 1 und 60 Minuten
• Kein Abo, keine Laufzeit; das Guthaben verfällt nicht und gilt für alle Produkte
• Rotierende und feste IP im selben Konto, Wechsel im Panel
• Panel auf Türkisch, Support auf Türkisch rund um die Uhr, Kreditkarte und Banküberweisung

Nachteile

• Keine kostenlose Testphase, getestet wird mit einem kleinen Guthaben
• Der Residential-Pool ist kleiner als der von Bright Data und Oxylabs
• Die Web-Scraper-API wird derzeit über das Vertriebsteam vergeben

Für wen: Teams, die bei Preis-, Anzeigen-, Suchergebnis- und Kontoarbeiten mit Ziel Türkiye den Prüfbildschirm reduzieren wollen.

2. Bright Data#

Hier liegt der größte Residential-Pool der Liste: mehr als 400 Mio. IPs. Für Türkiye weist der Anbieter insgesamt 1.296.959 IPs aus; beim Targeting gibt es neben der Stadt auch die Wahl von Postleitzahl und ASN. Der Preis beginnt bei 8 US-Dollar pro GB und sinkt in großen Tarifen auf 3 US-Dollar, der Traffic der Tarife wird innerhalb eines Monats verbraucht. Für Mobil-Proxys wird weder ein Preis pro IP noch pro GB veröffentlicht.

Vorteile

• Residential-Pool mit mehr als 400 Mio. IPs
• Targeting auf Ebene von Postleitzahl und ASN
• Breite Familie von Scraping-APIs und Proxy-Manager
• Abrechnung nach Verbrauch möglich

Nachteile

• Der Einstiegspreis pro GB ist der höchste der Liste
• Der Traffic eines Tarifs verfällt, wenn er nicht innerhalb eines Monats verbraucht wird
• Der Preis für Mobil-Proxys wird nicht veröffentlicht
• Kein Support auf Türkisch, keine lokale Zahlung

Für wen: Datenteams mit Unternehmensbudget, die gleichzeitig in Dutzenden Ländern arbeiten.

3. Oxylabs#

Ein globaler Anbieter mit mehr als 175 Mio. Residential-IPs; für Türkiye wird die Zahl 6.850.844 IPs veröffentlicht, in der Städteliste steht aber nur Istanbul. Residential-Traffic beginnt bei 6 US-Dollar pro GB und sinkt auf 2,50 US-Dollar. Auf der Mobil-Seite gibt es mehr als 20 Mio. IPs und über 140 Länder, der Preis sinkt von 7,50 US-Dollar auf 3,50 US-Dollar; die feste Sitzung können Sie auf bis zu 24 Stunden verlängern.

Vorteile

• Mehr als 175 Mio. Residential-IPs
• Bei Mobil-Proxys feste Sitzung bis zu 24 Stunden
• Support für Unternehmen und Kundenbetreuer
• Familie der Web-Scraper-APIs

Nachteile

• In Türkiye wird als Stadt nur Istanbul gelistet
• Der Test läuft nicht im Self-Service, sondern über das Vertriebsteam
• Hoher Einstiegspreis, die niedrigen Stufen hängen an großem Volumen
• Kein Support auf Türkisch, keine lokale Zahlung

Für wen: Teams mit von Anfang an großem Volumen, die mit einem Kundenbetreuer arbeiten wollen.

4. SOAX#

Mehr als 155 Mio. Residential-IPs; für Türkiye werden 881.280 IPs und 49 Städte veröffentlicht, und die Namen der türkischen Betreiber stehen ebenfalls in der Liste. Der Preis ist nach Land gestuft: In der zweiten Stufe, in der auch Türkiye liegt, beginnt er bei 3,75 US-Dollar pro GB und sinkt im Unternehmenstarif von monatlich 3.000 US-Dollar bis auf 0,35 US-Dollar. Auf der Mobil-Seite reicht die feste Sitzung bis zu 60 Minuten. Die gekauften Kredite verfallen bei monatlicher Abrechnung nach 60 Tagen.

Vorteile

• Targeting mit 49 Städten in Türkiye und mit Betreibernamen
• Auf der Mobil-Seite feste Sitzung bis zu 60 Minuten
• Bei hohem Volumen sinkt der GB-Preis deutlich
• Kostenpflichtiger Test über drei Tage mit 400 MB

Nachteile

• Die Kredite verfallen im Monatstarif nach 60 Tagen
• Der niedrigste GB-Preis hängt an einem Tarif von monatlich 3.000 US-Dollar
• Die Tarifstufen werden mit einer monatlichen Pauschale verkauft
• Kein Support auf Türkisch, keine lokale Zahlung

Für wen: Teams mit regelmäßig hohem Monatsvolumen, die von den Preisstufen profitieren können.

5. Decodo#

Früher Smartproxy. Für den Residential-Pool werden mehr als 115 Mio. IPs angegeben; in Türkiye werden fünf Städte beim Namen genannt, eine IP-Zahl pro Land wird nicht veröffentlicht. Residential-Traffic beginnt bei 4 US-Dollar pro GB und sinkt auf 2 US-Dollar. Auf der Mobil-Seite meldet der Anbieter mehr als 10 Mio. IPs und über 700 Betreiber, der Preis sinkt von 7,50 US-Dollar auf 5,50 US-Dollar. Es gibt einen dreitägigen Test mit 100 MB; wer ihn nutzt, verliert das Recht auf Rückerstattung binnen 14 Tagen.

Vorteile

• Niedriger Einstiegspreis auf der Residential-Seite
• Dreitägiger, kostenloser Test mit 100 MB
• Meldet mehr als 700 Mobilfunkbetreiber
• Der Start mit kleinen Paketen ist möglich

Nachteile

• Die IP-Zahl für Türkiye wird nicht veröffentlicht
• Der Mobil-GB-Preis liegt im oberen Bereich der Liste
• Wer den Test nutzt, verliert das Recht auf Rückerstattung binnen 14 Tagen
• Kein Support auf Türkisch, keine lokale Zahlung

Für wen: Alle, die mit kleinem Volumen beginnen und langsam skalieren wollen.

Vergleichstabellen#

Die Zahlen stammen von den Websites der Anbieter, Stand September 2026. „—" ist eine Angabe, die der Anbieter nicht veröffentlicht.

Pool und Abdeckung in Türkiye#

Beim Gesamtpool liegen Bright Data und Oxylabs vorn; für das Thema dieses Beitrags entscheidet aber die Feinheit des Ortes, den Sie ansteuern können. Die einzige Liste, in der Sie in Türkiye alle 81 Provinzen wählen können, ist die von Proxynet. „PLZ" steht für Postleitzahl; Bright Data führt das Targeting bis auf die Postleitzahl hinunter, die Summe für Türkiye gehört aber zu den niedrigsten Zahlen der Liste. Der Pool von Oxylabs in Türkiye wirkt groß, in der Städteliste steht jedoch nur eine einzige Provinz.

Preis und Lebensdauer des Traffics#

Die Preise verstehen sich in US-Dollar pro Gigabyte, jeweils die Einstiegsstufe.

In den unteren Stufen ändern sich die Zahlen: Decodo sinkt auf 2, Oxylabs auf 2,50 und Bright Data auf 3 US-Dollar, SOAX sogar bis auf 0,35 US-Dollar — dieser Boden hängt aber an einem Unternehmenstarif von monatlich 3.000 US-Dollar. Bei Proxynet liegt der Boden bei 1,50 US-Dollar, und über die Stufe entscheidet nicht eine monatliche Zusage, sondern Ihr Kontoguthaben. Die rechte Spalte wiegt bei den meisten Aufgaben schwerer als der Preis: Die Kredite von SOAX verfallen bei monatlicher Abrechnung nach 60 Tagen, der Tarif-Traffic von Bright Data nach einem Monat; bei Proxynet hat das Guthaben keine Laufzeit und gilt bei allen vier Produkten.

Targeting und Sitzung#

Die Dauer der festen Sitzung hängt unmittelbar mit dem Prüfbildschirm zusammen: Wechselt die IP mitten in der Sitzung, sieht die Website denselben Nutzer plötzlich aus einer anderen Provinz kommen und verlangt eine zusätzliche Prüfung. Bei Aufgaben mit langen Sitzungen ist die Obergrenze von 24 Stunden bei Oxylabs länger als die 60 Minuten bei Proxynet; dieselbe Arbeit mit einer festen ISP-IP zu erledigen, ist dafür stabiler als eine stundenlange Mobilsitzung. Zwei Anbieter nennen türkische Betreiber beim Namen, bei einem von beiden sind Panel und Support auf Türkisch.

Warum Proxynet bei CAPTCHAs?#

Provinz- und ASN-Targeting ohne Aufpreis#

In Türkiye können Sie IPs aus allen 81 Provinzen wählen, und die Auswahl bis auf die ASN-Ebene zu führen kostet nichts extra. Sammeln Sie Daten von einer Anzeigen-Website, macht es das Ergebnis richtig und verhindert zugleich einen Stau an einem einzigen Ausgangspunkt, wenn die Anfrage aus der Provinz Ihrer Zielgruppe kommt. Details: Residential-Proxy.

Mobile Sitzungen über türkische Betreiberleitungen#

Auf der Mobil-Seite gibt es Tausende Betreiberleitungen, darunter Turkcell, Vodafone und Türk Telekom; den Betreiber wählen Sie im Panel oder über die API. Weil in Mobilfunknetzen viele Teilnehmer hinter derselben Trägeradresse ausleiten, räumen Websites diesen Netzen mehr Toleranz ein. Details zum Produkt: Mobile-Proxy. Den Mechanismus haben wir in Mobile-Proxys: was sie sind erklärt.

Sie bestimmen die Sitzungsdauer#

Bei jeder Anfrage eine neue IP oder fünfzehn Minuten dieselbe Adresse — beides liegt im selben Konto und wird im Panel eingestellt. Die feste Sitzung wählen Sie zwischen 1 und 60 Minuten. Für Konto- und Panel-Arbeiten, die lange Sitzungen brauchen, nutzen Sie eine feste ISP-IP: ISP-Proxy.

Kein Abo, kein verfallendes Guthaben#

Es gibt weder eine monatliche Zusage noch eine Mindestbestellung; das aufgeladene Guthaben läuft nicht ab und gilt bei allen Produkten, Residential, Mobil, ISP und Datacenter. Bei einer Überwachungsaufgabe, die nur an ein paar Tagen im Monat läuft, bestimmt meist genau das die Gesamtkosten. Aktuelle Übersicht: Residential-Preise.

Panel auf Türkisch, Support auf Türkisch, lokale Zahlung#

Das Panel ist auf Türkisch, der Support antwortet rund um die Uhr auf Türkisch, bezahlt wird per Kreditkarte oder Banküberweisung (Havale/EFT). Für einen Vergleich nach Land sehen Sie sich Die besten Proxy-Anbieter für Türkiye - 2026 an, für einen Vergleich nach Produkt Die besten Residential-Proxy-Anbieter - 2026.

Warum erscheint ein CAPTCHA?#

Der Prüfbildschirm erscheint nicht zufällig. Vier Gruppen von Signalen werden einzeln bewertet, und überschreitet die Summe eine Schwelle, wird der Test gezeigt.

IP-Reputation und Art des Netzes. Als Erstes wird geprüft, auf welches autonome System die Adresse registriert ist. Blöcke von Hosting-Unternehmen bekommen von vornherein einen höheren Wert als Blöcke von Internetanbietern, denn es ist nicht gewöhnlich, dass ein normaler Besucher aus einem Rechenzentrum kommt. Auch die Vergangenheit der Adresse zählt: Lief über dieselbe IP schon einmal automatisierter Traffic in großem Umfang oder steht die Adresse auf Missbrauchslisten, liegt die Schwelle für Sie bereits niedriger. Nutzen Sie eine geteilte IP, muss diese Vergangenheit nicht einmal von Ihrem eigenen Traffic stammen.

Tempo und Muster der Anfragen. Das zweite Signal ist die Häufigkeit und Regelmäßigkeit der Anfragen aus derselben Quelle. Anfragen, die genau alle 500 Millisekunden kommen, nie pausieren und immer derselben Reihenfolge folgen, ähneln keinem menschlichen Verhalten. Der Server drosselt an dieser Stelle zuerst, gibt dann 429 Too Many Requests zurück oder zeigt einen Prüfbildschirm. Was welcher Code bedeutet, haben wir in HTTP-Statuscodes beim Web Scraping gesammelt.

Widersprüche im Fingerabdruck. Das dritte ist, dass die Angaben einer Anfrage nicht zusammenpassen. Zeigt die IP auf Deutschland, während die Zeitzone des Browsers Istanbul ist, die Spracheinstellung Türkisch und die Bildschirmauflösung der Server-Standard, ist dieses Trio für sich genommen ein Widerspruch. Auch Details wie Canvas, WebGL und Schriftartenliste des Browsers müssen dieselbe Identität beschreiben; das ganze Thema steht in Was ist Browser-Fingerprinting?.

Spuren der Automatisierung. Das vierte sind Spuren, die zeigen, dass der Browser unter Automatisierung läuft: fehlende oder widersprüchliche Header, ein Mauszeiger, der sich nie bewegt, ein Button, der drei Millisekunden nach dem Laden der Seite geklickt wird, Objekte, die es nur in Automatisierungswerkzeugen gibt. Wie diese Spuren gelesen werden und was bei der Browser-Automatisierung zu tun ist, haben wir in Puppeteer und CAPTCHA erklärt. Auf derselben Seite können auch versteckte Links liegen, die nur Programme sehen; Honeypot-Fallen werden genau dafür gesetzt.

Was eine saubere IP bewirkt und wo ihre Grenze liegt#

Den Proxy-Typ zu wechseln senkt die Häufigkeit des Prüfbildschirms tatsächlich, setzt sie aber nicht auf null. Der Grund ist, dass die vier Signale von oben addiert werden: Der Proxy beeinflusst nur das erste und teilweise das zweite. Wechseln Sie von einer Rechenzentrums-IP auf eine echte Endkunden-IP, korrigieren Sie den Posten mit dem größten Gewicht und bleiben auf vielen Websites unter der Schwelle. Was darüber hinaus bleibt, ist Verhalten, und dort kann ein Proxy nichts ausrichten.

Konkret gesagt: Ein Skript, das zweihundert Anfragen pro Minute stellt, kommt zum selben Ergebnis, so sauber es die IP auch wählt. Die Adressen im Pool jede Sekunde zu wechseln hilft ebenfalls nicht, es schadet sogar — ein Nutzer, der innerhalb einer einzigen Sitzung aus fünf verschiedenen Provinzen kommt, ist verdächtiger als ein sehr aktiver Nutzer aus einer einzigen Provinz. Dasselbe gilt für den Fingerabdruck: Ein Browser, der hinter einer IP aus Türkiye mit englischer Spracheinstellung und der Zeitzone New York läuft, trägt den Widerspruch mit sich, wie echt die IP auch ist.

Deshalb ist die richtige Reihenfolge diese: Senken Sie zuerst Tempo und Regelmäßigkeit der Anfragen auf den tatsächlichen Bedarf der Aufgabe, bringen Sie dann die Browser-Einstellungen mit dem Land in Einklang, das die IP anzeigt, und wählen Sie erst zum Schluss den Proxy-Typ. Teams, die von hinten anfangen, verbrauchen teuren Residential-Traffic für Prüfbildschirme. Das ganze Thema haben wir in Web Scraping ohne Sperren gesammelt.

Was tun, um ein CAPTCHA nicht auszulösen?#

Das Ziel ist nicht, einen Schutz zu umgehen, sondern ihn nicht unnötig auszulösen. Alle fünf Schritte unten bleiben innerhalb der Regeln der Website.

Halten Sie das Ratenlimit ein. Schätzen Sie das Tempo nicht, das die Website verträgt, sondern messen Sie es: Beginnen Sie mit einer gleichzeitigen Anfrage und erhöhen Sie langsam; kommt die erste 429, bleiben Sie auf der Stufe davor. Die meisten Websites senden in ihrer Antwort den Header Retry-After; dieser Header und die Bedeutung der zugehörigen Statuscodes stehen im HTTP-Statuscode-Register der IANA.

Lesen und befolgen Sie die Datei robots.txt. Das Format der Datei und die Auslegung von Feldern wie Crawl-delay sind mit RFC 9309 standardisiert. Streichen Sie nicht erlaubte Pfade aus Ihrer Liste; das ist rechtlich wie technisch der günstigste Schritt. Details: Was ist robots.txt.

Gibt es eine offizielle API, nutzen Sie sie. Bei den meisten Suchmaschinen, Marktplätzen und sozialen Netzwerken gibt es eine offene Schnittstelle für Daten. Eine Anfrage über die API sieht keinen Prüfbildschirm, ihr Kontingent ist bekannt, und sie bricht nicht, wenn sich das Seitendesign ändert. Das Scrapen der Seite bleibt für die Felder, die die API nicht abdeckt.

Sehen Sie sich Programme für verifizierte Bots an. Müssen Sie Ihren eigenen Crawler bei einer Website bekannt machen, bewerben Sie sich beim Programm der Website selbst. Die Dokumentation von Google zur Verifizierung des Googlebot erklärt, wie diese Verifizierung abläuft; einen ähnlichen Weg gibt es bei vielen großen Websites, und erlaubter Zugang ist immer stabiler.

Wiederholen Sie mit exponentiellem Backoff. Eine Anfrage, die einen Prüfbildschirm oder eine 429 zurückbekommt, sofort zu wiederholen, treibt die Schwelle noch weiter nach oben. Verdoppeln Sie die Wartezeit bei jedem Versuch und legen Sie eine kleine Zufallskomponente obendrauf:

import random, time, requests

def fetch(url, session, tries=5):
    for attempt in range(tries):
        r = session.get(url, timeout=20)
        if r.status_code not in (429, 503):
            return r
        # Nennt der Server eine Wartezeit, halte dich daran, sonst exponentiell zurückziehen
        wait = float(r.headers.get("Retry-After", 2 ** attempt))
        time.sleep(wait + random.uniform(0, 1))
    return None

Sehen Sie nach diesen fünf Schritten immer noch einen Prüfbildschirm, ist der Wechsel des Proxy-Typs an der Reihe. Die Reihenfolge umzudrehen macht das Problem nur teurer.

Häufige Fehler#

• Den Prüfbildschirm für Daten halten. Speichert das Skript das zurückgegebene HTML ohne Prüfung, landen leere oder falsche Zeilen in Ihrer Tabelle. Prüfen Sie bei jeder Anfrage, ob das erwartete Feld in der Antwort steht.
• Bei jeder Anfrage die IP wechseln. In Abläufen, die eine Sitzung brauchen, stört Rotation die Arbeit: Unterscheidet sich die Adresse der Anmeldung von der Adresse, die in den Warenkorb legt, beendet die Website die Sitzung. Wählen Sie die feste Sitzung nach der Länge der Aufgabe.
• Den Datacenter-Proxy für jede Aufgabe einsetzen. Bei umfangreichen, schwach geschützten Zielen ist eine Rechenzentrums-IP die günstigste Lösung; auf Websites mit Prüfbildschirm ist sie die teuerste, weil die Anfragen verloren gehen.
• Ein ganzes Land aus einer einzigen Provinz abfragen. Erfassen Sie Preise in ganz Türkiye, verfälscht die Ausleitung aus einer einzigen Provinz das Ergebnis und ermüdet zugleich die Adressen in dieser Provinz.
• Den Fingerabdruck nicht zusammen mit der IP ändern. Zeigt die IP auf Türkiye, während Sprache, Zeitzone und Standort des Browsers auf ein anderes Land zeigen, wächst der Widerspruchswert.
• Auf den Aktionspreis schauen und die Laufzeit des Traffics übersehen. Ein Tarif mit niedrigem Gigabyte-Preis, dessen Kredite nach 60 Tagen verfallen, ist bei einer Aufgabe, die drei Tage im Monat läuft, effektiv deutlich teurer.

Welcher Proxy für welche Aufgabe?#

Häufige Fragen#

Welcher Proxy ist der beste gegen CAPTCHAs?#

Proxynet. Mehr als 160 Mio. echte Endkunden-IPs in 194 Ländern auf der Residential-Seite, kostenloses Provinz- und ASN-Targeting, dazu türkische Betreiberleitungen und feste Sitzungen von 1 bis 60 Minuten auf der Mobil-Seite gibt es hier zusammen. Bei Unternehmensprojekten über Dutzende Länder, bei denen allein die Größe des Pools entscheidet, kommen auch Bright Data und Oxylabs infrage.

Verschwinden CAPTCHAs mit einem Proxy vollständig?#

Sie verschwinden nicht, sie werden seltener. Ein Proxy ändert nur, aus welchem Netz die Anfrage kommt; Tempo der Anfragen, Browser-Fingerabdruck und Automatisierungsspuren bleiben, wie sie sind. Teams, die auf echte Endkunden-IPs wechseln, sehen den Prüfbildschirm deutlich seltener, aber ein Skript mit Hunderten Anfragen pro Minute läuft gegen dieselbe Wand, welche IP es auch nutzt.

Löst ein Residential- oder ein Mobil-Proxy weniger Prüfungen aus?#

Weil in Mobilfunknetzen viele Teilnehmer hinter derselben Trägeradresse ausleiten, räumen Websites diesen Netzen mehr Toleranz ein; bei Social Media und App-Tests läuft ein Mobil-Proxy meist bequemer. Dafür ist Mobil-Traffic pro Gigabyte teurer und seine Latenz schwankt; bei umfangreicher Datenerhebung, die sich über Provinzen verteilt, ist Residential das richtigere Werkzeug.

Warum erscheint die Prüfung bei Datacenter-Proxys häufiger?#

Weil die IP im Block eines Hosting-Unternehmens registriert ist und es nicht gewöhnlich ist, dass ein normaler Besucher von dort kommt. Die Website sieht das autonome System, auf das die Adresse registriert ist, und hebt das Risiko von vornherein an. Bei schwach geschützten Zielen ist das kein Problem; auf Websites mit strenger Schutzschicht sind das die Adressen, die zuerst aussortiert werden.

Sollte ich einen Dienst nutzen, der CAPTCHAs lösen lässt?#

Wir raten davon ab. Die Schutzschicht einer Website von außen lösen zu lassen, verstößt bei den meisten Websites gegen die Nutzungsbedingungen und ist technisch keine dauerhafte Lösung: Wird der Schutz aktualisiert, steht die Arbeit still. Der dauerhafte Weg ist, die Prüfung gar nicht erst auszulösen — das Ratenlimit einhalten, die Regeln der robots.txt befolgen, eine offizielle API nutzen, wenn es sie gibt, und bei Bedarf die Website um Erlaubnis bitten.

Ist es legal, Daten von einer Website zu erfassen, die einen Prüfbildschirm zeigt?#

Einen Proxy zu nutzen und öffentlich zugängliche Daten zu erfassen, gilt für sich genommen als legal; die Grenze bestimmen die Nutzungsbedingungen der Website, die Art der Daten und das Recht zum Schutz personenbezogener Daten. Bei Quellen, die eine Anmeldung verlangen, urheberrechtlich geschützt sind oder personenbezogene Daten enthalten, werden die Regeln strenger. Details in Ist Web Scraping legal? Ein Überblick.

Fazit#

Nicht allein der Proxy bestimmt, wie häufig der Prüfbildschirm erscheint; Tempo der Anfrage, Stimmigkeit des Browsers und das Netz, auf das die IP registriert ist, werden zusammen gewichtet. Der wirksamste Zug auf der Proxy-Seite ist der Wechsel auf echte Endkunden-IPs und ein Targeting, das bis auf die Provinz der Aufgabe hinuntergeht. Der Anbieter, der das zusammen mit kostenlosem Provinz- und ASN-Targeting, türkischen Betreiberleitungen und einem Guthaben ohne Laufzeit bietet, ist Proxynet: Produktdetails auf der Seite Residential-Proxy, alle Produkte auf der Seite unsere Proxy-Dienste.