Ein Crawler, der sich durch Tausende Seiten arbeitet, wird schnell gesperrt, wenn jede Anfrage von derselben IP ausgeht. Unsere Residential-, Rotations- und Datacenter-Proxy-Pools verteilen diese Anfragen über einen breiten IP-Pool, sodass Ihr Crawl unterbrechungsfrei läuft, während Sie sich an robots.txt halten.
Eine stabile, unveränderliche IP für lang laufende Crawl-Worker.
Hohe Bandbreite zu niedrigen Kosten für das Durchlaufen großer Sitemaps.
Echte Nutzer-IPs, die sich unbemerkt durch streng bewachte Ziele bewegen.
Mobilfunk-IPs mit dem höchsten Vertrauenswert für die am strengsten geschützten Ziele.
Statische IPs mit niedrigem Ping hinter DDoS-geschütztem Routing.
Hunderte Anfragen in Folge von einer einzigen IP sind genau das, worauf die Sicherheitssysteme eines Zielservers ausgelegt sind. Die Verteilung dieser Anfragen über einen breiten IP-Pool nimmt dem auffälligen Traffic aus einer Quelle sein verräterisches Muster.
Die meisten Server erlauben von derselben IP nur eine festgelegte Zahl von Anfragen pro Minute. Über verschiedene IPs verteilter Crawl-Traffic hält jede Adresse unter dieser Grenze, während Ihr Gesamtdurchsatz weit steigt.
Die Wartezeit zwischen den Anfragen, die einen Server schont — die Politeness-Verzögerung —, bringt einen Crawl über eine einzelne IP fast zum Stillstand. Teilen Sie den Traffic auf viele IPs auf, behält jede ihre eigene Verzögerung, während Ihre Gesamtrate steigt.
Selbst ein zurückhaltender Crawler, der robots.txt achtet, kann wegen des aggressiven Traffics eines anderen Prozesses gesperrt werden, wenn er über eine geteilte IP hinausgeht. Ein eigener IP-Pool bedeutet, dass Ihre Regeltreue an Ihrem Verhalten gemessen wird und nicht an dem eines anderen.
Die Einstellung für gleichzeitige Anfragen auf einer einzelnen IP hochzudrehen, lädt zur sofortigen Sperre ein. Mit einem großen Proxy-Pool halten Sie die Parallelität je IP niedrig und in der Summe hoch und crawlen Tausende Seiten zugleich.
Viele Seiten ändern Sprache, Preise und Inhalte je Land und sogar je Stadt. Ohne eine echte IP am Zielort kann der Seiteninhalt, den Ihr Crawler speichert, von dem abweichen, was ein tatsächlicher Besucher sieht.
Ihr Crawl-Traffic verlässt das Netz über Adressen aus dem Proxy-Pool statt über die IP Ihres eigenen Servers. Ihre echte Infrastruktur taucht in den Protokollen der gecrawlten Seiten nie auf.
Für breite, wenig bewachte Seitenbestände sind Datacenter-Proxys je GB oder je IP weit günstiger. Wechseln Sie nur bei streng bewachten Zielen auf Residential, und Ihr Budget folgt dem, wie empfindlich jedes Ziel tatsächlich ist.
Scrapy, Apache Nutch, Puppeteer und Ihr eigener HTTP-Client unterstützen das Format des Backconnect-Endpunkts von Haus aus. Tragen Sie einen host:port samt Zugangsdaten ein, und Sie sind auf dem Proxy-Pool, ohne Ihre bestehende Crawl-Logik anzufassen.
Ein Web-Crawler (Spider-Bot) ist ein Programm, das von einer oder mehreren Startadressen (Seed-URLs) ausgeht und sich systematisch über Seiten bewegt, indem es den auf jeder Seite gefundenen Links folgt. Der Ablauf ist immer derselbe: Der Crawler startet an der Seed-URL, ruft die Seite ab (Crawl), parst das HTML, um neue Links und Daten herauszulösen (Parse), schreibt das Ergebnis in eine Datenbank oder Datei (Speichern), stellt die gefundenen neuen Links in die Warteschlange und hält die Schleife am Laufen.
Wozu brauchen Sie einen Proxy? Zielserver erkennen durchgängigen, starken Crawl-Traffic von einer einzigen IP; sie verhängen Rate-Limits und sperren diese IP vorübergehend oder dauerhaft. Das Risiko steigt weiter, wenn Sie schnell crawlen wollen, indem Sie die Politeness-Verzögerung (die Wartezeit zwischen den Anfragen) niedrig halten. Ein Proxy-Pool verteilt Ihre Anfragen über viele verschiedene IPs, sodass Ihr Crawl mit hoher Parallelität laufen kann, ohne zu stocken.
| Aufgabentyp | Sitzungsmodus | IP-Quelle | Abrechnung |
|---|---|---|---|
| Hochvolumige, wenig bewachte Ziele (große Sitemaps) | Rotierender Proxy | Datacenter-Proxy | Monatlich je IP |
| Streng bewachte Ziele mit starker Bot-Erkennung | Rotierender Proxy | Residential-Proxy | Je GB |
| Am strengsten bewachte Ziele mit dem höchsten Vertrauensbedarf | Rotierender Proxy | Mobile-Proxy | Je GB |
| Abläufe mit Login oder Sitzungsverfolgung | Sticky-Proxy | Residential-Proxy | Je GB |
Data Scraping ruft Seiten meist aus einer bekannten Liste ab, einmalig oder nach festem Zeitplan. Die Aufgabe eines Crawlers ist eine andere: einer sitemap.xml durchgängig zu folgen, um Hunderttausende Seiten zu entdecken, oder die neuen Produktseiten, die eine E-Commerce-Seite täglich hinzufügt, automatisch zu finden und in die Warteschlange zu stellen — ein fortlaufender, geplanter Ablauf.
In dieser Größenordnung genügt eine einzelne IP nie — ein Crawler, der eine Sitemap mit 500.000 Seiten einmal täglich auffrischen will, sendet Zehntausende Anfragen pro Stunde, und der Zielserver sieht darin auffälligen Traffic aus einer Quelle. Die Indexierung durch Suchmaschinen beruht auf genau diesem Prinzip: breite IP-Pools und verteilte Anfragezeiten.
Dasselbe Prinzip gilt, wenn Sie Ihren eigenen Crawler bauen: Nutzen Sie beim Entdecken einen rotierenden Proxy, damit jede Anfrage von einer anderen IP ausgeht, und wechseln Sie auf einen Sticky-Proxy, wenn Sie einem bestimmten Teilbereich mit stabiler Identität folgen müssen — so bleiben Sie robots.txt-konform und halten Ihren geplanten Crawl ohne Unterbrechung am Laufen.
| Data Scraper | Web-Crawler | |
|---|---|---|
| Zielliste | Fest, bereits bekannt | Erweitert sich selbst durch Linkverfolgung |
| Fokus | Bestimmte Felder herauslösen (Preis, Bestand, Titel) | Systematische Entdeckung, meist mit Datenextraktion kombiniert |
| Beispiel | Preis eines einzelnen Produkts verfolgen | Suchmaschinenindexierung, Sitemap-Entdeckung |
Die Schleife Seed-URL → Crawl → Parse → Speichern, der Sie folgen, wenn Sie einen Crawl-Ablauf von Grund auf aufbauen:
DOWNLOADER_MIDDLEWARES = {"myproject.middlewares.ProxynetProxy": 100}
CONCURRENT_REQUESTS_PER_DOMAIN = 50
DOWNLOAD_DELAY = 0.5 # secondsVon SEO-Audits und E-Commerce-Katalogdurchläufen bis zu Finanzdaten und Markenschutz — die Felder, die Web-Crawler tragen.
Laufen Sie jede Seite einer Website systematisch ab und legen Sie defekte Links, fehlende Meta-Tags und Indexierungsprobleme genau so offen, wie Suchmaschinen-Bots sie sehen.
Starten Sie bei den Kategorieseiten eines Shops und folgen Sie den Links bis zu jeder Produktseite — Tausende SKUs in einem einzigen Crawl-Zyklus.
Crawlen Sie Katalogseiten in regelmäßigen Abständen erneut, um Preis-, Bestands- und Kampagnenänderungen über echte Standort-IPs zu verfolgen.
Kartieren Sie die vollständige Seitenstruktur, das Sortiment und die regionalen Inhaltsunterschiede eines Wettbewerbers systematisch mit einem Crawler.
Crawlen Sie das Web in großem Umfang, um Fälschungshändler und Betrugsseiten zu finden, die mit Ihrem Markennamen, Logo oder Ihren Produktfotos handeln.
Crawlen Sie öffentliche Markt- und Nachrichtenseiten in regelmäßigen Abständen, um Kurs-, Mitteilungs- und Unternehmensdaten in Echtzeit zu erheben.
4,4 von 5 — "Exzellent" bei Trustpilot.
Wenn man die Qualität der verkauften Proxys zusammen mit dem Support vor und nach dem Kauf betrachtet, gehören sie zu den besten am Markt. Ich möchte lange mit ihnen zusammenarbeiten — vielen Dank.
Çağlar
Trustpilot · 5,0/5 · Aug. 2022
Ich habe Proxys einer anderen Firma genutzt und bekam keinen Support. Bei proxynet.io war ich schon vor dem Kauf registriert; als am Samstag eine E-Mail vom Kundenservice kam, wollte ich es versuchen. Bis jetzt haben mich die schnellen Antworten und die lösungsorientierte Art wirklich überzeugt.Auf Trustpilot lesen
Kemal
Trustpilot · 5,0/5 · Sept. 2023
Der technische Support reagiert schnell. Mit den ISP-Proxys bin ich sehr zufrieden; die Preise dürften etwas günstiger sein, mobil ist leider teuer, aber ISP-Geschwindigkeit und Subnetz-Qualität stimmen.Auf Trustpilot lesen
Andre James
Trustpilot · 5,0/5 · Dez. 2023
Noch eine Frage oder brauchen Sie eine Crawl-Infrastruktur für großen Umfang? Unser Expertenteam ist rund um die Uhr erreichbar.
Ein Web-Crawler ist ein Bot, der von einer oder mehreren Seed-URLs ausgeht und sich systematisch über Seiten bewegt, indem er den auf jeder Seite gefundenen Links folgt. Die Schleife ist immer dieselbe: Seed-URL → Crawl (Seite abrufen) → Parse (HTML zerlegen und neue Links und Daten herauslösen) → Speichern (Ergebnis sichern); jeder neu entdeckte Link kommt in die Warteschlange, und derselbe Zyklus wiederholt sich.
Ein Data-Scraper konzentriert sich darauf, bestimmte Felder aus einer festen, bereits bekannten Seitenliste herauszulösen. Die Zielliste eines Web-Crawlers ist nicht fest; er erweitert seine Ziele selbst, indem er Links folgt — so, wie Suchmaschinen das Internet indexieren. In der Praxis lösen die meisten Crawler auch Daten aus den gefundenen Seiten heraus und verhalten sich damit zugleich wie ein Scraper.
Die Politeness-Verzögerung ist die Wartezeit, die ein Crawler zwischen aufeinanderfolgende Anfragen an denselben Server legt; sie verhindert, dass Sie diesen Server überlasten und gesperrt werden. Sie auf einer einzelnen IP zu kürzen, führt schnell zur Sperre. Verteilen Sie die Anfragen über einen Proxy-Pool, behält jede IP ihre eigene Politeness-Verzögerung, während Ihre Gesamtgeschwindigkeit proportional zur Zahl der IPs steigt.
Die Zahl gleichzeitiger Anfragen auf einer einzelnen IP zu erhöhen, schafft ein unmittelbares Risiko für Rate-Limits oder Sperren. Verteilen Sie diese Parallelität stattdessen über die IPs Ihres Proxy-Pools: Jede IP sendet Anfragen in niedrigem, zurückhaltendem Tempo, während der Pool insgesamt Tausende Seiten parallel crawlen lässt.
Bevor er zu crawlen beginnt, sollte Ihr Crawler die robots.txt der Zieldomain lesen und jeden mit Disallow markierten Pfad aus dem Umfang nehmen. Ein Proxy-Pool entbindet Sie nicht von robots.txt; er löst nur die IP-basierte Sperre, während Umfangs- und Erlaubnisprüfungen in Ihrer eigenen Crawler-Logik bleiben.
Für zustandslose Arbeiten wie Seitenentdeckung und Linkverfolgung ist es am effizientesten, jede Anfrage von einer anderen IP zu senden (Rotation); für Abläufe mit Anmeldung oder Cookie-Verfolgung hält ein Sticky-Proxy die IP für eine festgelegte Zeit. Bei der Quelle passt Residential zu streng bewachten Seiten mit scharfer Bot-Erkennung; das weit günstigere Datacenter ist die wirtschaftliche Wahl für Crawls mit großem Volumen über wenig bewachte Ziele, etwa beim Durchlaufen eines großen Katalogs oder einer Sitemap; Mobile kommt bei den am strengsten bewachten Zielen mit dem höchsten Vertrauensbedarf zum Einsatz.
Scrapy, Apache Nutch, Puppeteer und Ihr eigener HTTP-Client unterstützen das Format des Backconnect-Endpunkts (host:port und Benutzername:Passwort) von Haus aus. In Scrapy setzen Sie ihn über DOWNLOADER_MIDDLEWARES, in anderen Werkzeugen über die Request- oder Client-Einstellungen; eine Proxy-Liste zu pflegen oder Rotationslogik zu schreiben ist nicht nötig.