Warum ein Scraper nicht reicht: Anti-Bot, Proxys und mehrmotorige Datenerhebung

Warum reicht ein Scraper nicht? Wie Senkrondata statische und browserbasierte Engines, Proxy-Rotation und Health Checks kombiniert, um im großen Maßstab zu erheben.

„Einen Preis von einer Webseite kratzen" wirkt zunächst simpel: Seite laden, HTML parsen, Zahl greifen. Für ein paar Produkte auf einer Seite stimmt das auch. In dem Moment aber, in dem Sie täglich Millionen Produkte von Hunderten Seiten verlässlich erheben wollen, lernen Sie, warum eine einzelne Methode zusammenbricht.

Das Problem ist nicht technisch, sondern gegnerisch: Moderne Seiten wollen nicht ausgelesen werden und wehren sich aktiv. Eine belastbare Erhebungsinfrastruktur ist deshalb kein einzelner „Scraper" — sie ist das Zusammenspiel mehrerer einander ergänzender Engines und Techniken.

Zwei Seitentypen, zwei Engines

Im Web gibt es zwei verschiedene Welten:

• Statische, serverseitig gerenderte Seiten: Der Preis steht direkt im HTML, das der Server zurückgibt. Diese mit einem leichtgewichtigen Ansatz aus Anfrage und Parsing zu erheben (klassischer HTTP-Client plus HTML-Parser), ist am effizientesten und günstig zu skalieren.
• JavaScript-gerenderte Seiten: Der Preis wird erst von JavaScript im Browser nachgeladen, nachdem die Seite geöffnet ist. Um ihn zu sehen, müssen Sie eine echte Browser-Engine ausführen (etwa Headless Chromium), auf den Aufbau warten und manchmal sogar Interaktionen wie Klicks und Scrollen nachbilden.

Einen einzigen Ansatz jeder Seite aufzuzwingen, verliert in beide Richtungen: Eine Browser-Engine auf einer statischen Seite ist unnötig teuer; ein leichtgewichtiger Client auf einer JS-Seite holt leeres HTML. Deshalb nutzen die Crawler in der Infrastruktur von Senkrondata je nach Natur der Zielseite unterschiedliche Engines — von der schlanken Anfrage bis zum vollen Browser.

Warum man blockiert wird: Anti-Bot-Abwehr

Seiten setzen mehrschichtige Abwehr ein, um automatisierten von menschlichem Verkehr zu unterscheiden: Ratenbegrenzung je IP, Blockade von Anfragestößen derselben Adresse, Prüfung des Browser-Fingerprints, Verhaltensanalyse, CAPTCHAs. Ein naiver Scraper verrät sich sofort — Anfragen von derselben IP, im selben Muster, in übermenschlichem Tempo — und wird blockiert.

Belastbarkeit entsteht daraus, sich gegenüber dieser Abwehr respektvoll und verteilt zu verhalten:

• Proxy-Rotation: Anfragen über einen Pool statt über eine einzige IP zu streuen, senkt das Risiko von Ratenbegrenzungen und verhindert, dass die Sperrung einer Adresse die gesamte Erhebung anhält.

• Menschenähnliches Verhalten: angemessene Pausen zwischen Anfragen, realistische Browser-Header, ein Tempo, das die Seite nicht überfordert.
• Sauberes Scheitern: bei einer Blockade auf eine alternative Engine oder Route ausweichen — und den Fehlschlag vor allem bemerken, statt ihn still zu schlucken.

Erheben genügt nicht — es muss geprüft werden

Wenn ein Crawler „hat geklappt" meldet, heißt das nicht, dass die Daten korrekt zurückkamen. Ändert eine Seite ihr Design, kann ein Scraper anfangen, leere oder falsche Daten zu sammeln, ohne einen Fehler zu werfen — und dieser stille Bruch ist die gefährlichste Art des Versagens. Über der Erhebungsschicht muss deshalb ein Health Check liegen: Sind die heutigen Daten angekommen, ist ihr Volumen plausibel, sind die erwarteten Felder gefüllt? Bei unerwarteter Abweichung schlägt eine Meldung an, bevor irgendein Bericht entsteht.

Die Prinzipien, die das Ganze verlässlich halten

• Die richtige Engine für die richtige Seite. Eine Größe passt nicht allen; die Wahl der Engine folgt der Natur des Ziels.
• Verteilen, verlangsamen, respektvoll bleiben. Nachhaltige Erhebung ist eine, die die Seite nicht überfordert; Aggressivität kauft kurzfristig Tempo und langfristig eine dauerhafte Sperre.
• Stille Brüche erkennen. „Kein Fehler" und „Daten sind korrekt" sind nicht dasselbe; das Ergebnis der Erhebung wird immer geprüft.

Das Wesentliche

Verlässliche Preisdaten entstehen nicht aus einem einzelnen cleveren Scraper, sondern aus dem Zusammenspiel verschiedener Engines, einer Proxy-Strategie und Health Checks. „Einen Preis von einer Seite kratzen" ist leicht; ihn täglich von Hunderten Seiten zu holen, ohne blockiert zu werden und ohne still zu brechen, ist eine Ingenieursdisziplin.

Wenn Sie belastbare, geprüfte Wettbewerbsdaten im großen Maßstab brauchen, sprechen Sie mit dem Senkrondata-Team.