Future Feed

Das Unternehmen Cloudflare ist einer der größten und wichtigsten Infrastrukturanbieter im Internet – und zählt Unternehmen wie Uber, Discord und Shopify zu seinen Kunden. Diese und andere Unternehmen will Cloudflare nun vor aggressiven KI-Crawlern schützen, die Daten sammeln, um Sprach-, Bild- und Videomodelle zu trainieren. Dafür hat das Unternehmen eine Technik entwickelt, die „unangemessenes Verhalten“ solcher Datensammler erkennt und sie über für Menschen unsichtbare Links von realen Websites in ein digitales Labyrinth umleitet.

Dort sollen die Crawler mit KI-generiertem Unsinn beschäftigt werden, um „Ressourcen [des Crawler-Betreibers] zu verschwenden“. Der Grund  für diese Maßnahme ist, dass viele KI-Firmen Einträge in der robots.txt von Websites ignorieren, die solche Bots eigentlich abweisen sollen. Dazu gehörten in der Vergangenheit auch Firmen wie Anthropic und Perplexity.

Cloudflare zählt derzeit mehr als 50 Milliarden Crawler-Anfragen pro Tag im eigenen Netzwerk. Das Blockieren unerwünschter Anfragen werde aber immer schwieriger, da die Entwickler der Crawler dies immer weiter erschwerten. Daher seien kreativere Lösungen gefragt.