Selenium mit Proxy: Einrichtung in Python und Java

Selenium steuert Webbrowser automatisch. Verbreitet ist es vor allem im Test von Webanwendungen, aber es eignet sich für jede Aufgabe, die sonst jemand von Hand im Browser erledigen würde. Dieser Beitrag zeigt, wie Sie Proxynet-Proxys darin einbinden.

Was ist Selenium?#

Selenium stellt eine Schnittstelle bereit, über die ein Programm einen Browser bedient: Fenster öffnen, Seiten laden, klicken, Text eingeben, Formulare abschicken und den Seiteninhalt auslesen.

Es unterstützt die gängigen Browser — Chrome, Firefox, Safari, Edge — und spricht sie über die Komponente Selenium WebDriver an. Nutzen lässt es sich aus Python, Java, C#, Ruby und weiteren Sprachen.

Einrichtung#

Schritt 1: Selenium installieren. Mit vorhandenem Python:

pip install selenium

Schritt 2: Einen Proxy besorgen. Den passenden Dienst wählen Sie auf der Proxynet-Startseite.

Schritt 3: Den Treiber bereitstellen. Ab Selenium 4.6 lädt Selenium Manager den passenden Treiber selbst herunter; ein manuell installierter ChromeDriver ist nur bei älteren Versionen nötig.

Schritt 4: Den Proxy eintragen. In Python:

from selenium import webdriver

PROXY_HOST = "pr.proxynet.io"
PROXY_PORT = 8000

options = webdriver.ChromeOptions()
options.add_argument(f"--proxy-server=http://{PROXY_HOST}:{PROXY_PORT}")

driver = webdriver.Chrome(options=options)
driver.get("https://ipinfo.io/json")
print(driver.find_element("tag name", "body").text)
driver.quit()

Statt PROXY_HOST und PROXY_PORT setzen Sie den Hostnamen und den Port aus Ihrem Proxynet-Panel ein.

Dasselbe in Java#

import org.openqa.selenium.Proxy;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

public class SeleniumProxyExample {
    public static void main(String[] args) {
        String proxyHost = "pr.proxynet.io";
        int proxyPort = 8000;

        // Proxy für HTTP und HTTPS setzen
        Proxy proxy = new Proxy();
        proxy.setHttpProxy(proxyHost + ":" + proxyPort);
        proxy.setSslProxy(proxyHost + ":" + proxyPort);

        ChromeOptions options = new ChromeOptions();
        options.setProxy(proxy);

        WebDriver driver = new ChromeDriver(options);
        driver.get("https://ipinfo.io/json");
        System.out.println(driver.getPageSource());
        driver.quit();
    }
}

Auch hier gilt die Einschränkung von oben: Benutzername und Passwort gehören nicht in die Proxy-Adresse. Arbeiten Sie stattdessen mit einer freigeschalteten IP.

Welcher Proxy-Typ#

Für Automatisierung entscheidet die Herkunft der Adresse über die Erfolgsquote: Residential-Proxy für Ziele mit strenger Prüfung, Datacenter-Proxy für schnelle Abrufe auf unkritischen Seiten. Wer eine Sitzung über mehrere Schritte halten muss, nimmt ISP-Proxy, damit die Adresse zwischendurch nicht wechselt.