Rate Limiting

Was ist Rate Limiting?
Rate Limiting begrenzt, wie viele Anfragen ein Client innerhalb eines Zeitfensters an einen Server stellen darf – beispielsweise 100 Anfragen pro Minute je IP. Server setzen es zum Schutz von Stabilität und Fairness ein; wer das Limit überschreitet, erhält in der Regel den HTTP-Status 429 (Too Many Requests).

In der Webdatenerhebung prägt Rate Limiting den Pipeline-Entwurf in zwei Richtungen. Als Konsument muss ein Crawler sich innerhalb der Toleranz jeder Zielseite bewegen und Anfragen zeitlich sowie über IPs verteilen, damit er die Seite nie beeinträchtigt – ethische Norm und praktische Notwendigkeit zugleich. Als Anbieter legen Daten-APIs ihrerseits Rate Limits und Kontingente für Kunden fest, um planbaren Service zu garantieren.

Guter Crawler-Anstand – robots.txt beachten, bei 429- und 5xx-Antworten zurückfahren und in verkehrsarmen Zeitfenstern crawlen – ist der operative Kern verantwortungsvollen Scrapings.