Auf den Punkt: Datasette.io setzt ein mit GPT-Unterstützung entwickeltes Rate-Limiting-Plugin ein, das aggressive Crawler durch IP-Blockierung begrenzt.
Das Datasette.io-Portal nutzt ein neues Plug-in zur IP-basierten Drosselung, um sich vor aufdringlichen Web-Crawlern zu schützen. Das konfigurierbare System blockiert Adressen, die spezifische Seiten überproportional oft anfragen.
Das Datasette.io-Portal war Ziel von unkontrolliertem Crawler-Traffic, der einzelne Bereiche der Site systematisch bombardierte. Um dieses Problem zu lösen, wurde ein Python-basiertes Plugin namens datasette-ip-rate-limit entwickelt, das eingehende Anfragen auf IP-Adress-Ebene begrenzt.
Die aktuelle Produktionskonfiguration nutzt folgende Parameter: Das System nutzt den Header „Fly-Client-IP” zur Identifizierung und verwaltet bis zu 10.000 IP-Adressen parallel. Konfigurierbare Pfade wie „/static/*” und „/-/turnstile*” sind von der Drosselung ausgenommen. Für Demo-Datenbanken (Pfade wie „/global-power-plants/*” und „/legislators/*”) gelten strengere Limits: maximal 60 Anfragen pro 60-Sekunden-Fenster. Bei Überschreitung wird die IP für 20 Sekunden blockiert.
Das Plugin bietet damit Administratoren granulare Kontrolle über Zugriffsmuster. Unterschiedliche Rate-Limits lassen sich pro Sektion definieren, während legitime statische Inhalte und spezifische Services ausgenommen werden können. Die Blockierungslogik basiert auf Sliding-Window-Zählung statt auf festem Timeout, was flexiblere Drosselung ermöglicht.
Quelle: ainews-dev.lumi-systems.io · Erschienen 14. Mai 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.5.2.