Eine robots.txt-Zeile für KI-Crawler ist überfällig, hat aber keine Zähne

Was sagt es über das Web aus, dass sich die größten KI-Unternehmen erst auf einen Weg einigen mussten, sich ein „Nein“ sagen zu lassen, bevor jemand darauf hoffen konnte, dass sie es auch hören? Das neue gemeinsame robots.txt-Signal ist eine gute Nachricht. Es erinnert aber auch daran, wie viel im Internet noch auf Anstand beruht.

Was vereinbart wurde, in Kürze

Laut aiweekly.co unter Berufung auf The Verge erklärten Google, Microsoft, Anthropic und OpenAI am 30. Oktober, ein einziges robots.txt-Richtlinien-Token zu beachten: __usage_ai-training. Mit einer Zeile könnte eine Website ihre Inhalte für alle Crawler dieser Unternehmen vom Training von KI-Modellen ausnehmen, statt je Anbieter eine eigene Regel zu pflegen. Ein anderes Medium, zglg.work, berichtet, der Entwurf sei bei der IETF eingereicht worden; Microsoft und OpenAI wollten ihn in den kommenden Monaten umsetzen, Google im nächsten Jahr.

Das ist der gesamte Deal: ein gemeinsames Vokabular, keine neuen Verpflichtungen.

Die Lösung für ein echtes Durcheinander ist willkommen

Anerkennung, wo sie gebührt. Heute muss ein Verlag, der aussteigen will, jeden Crawler-Namen im Blick behalten, für jeden eine Regel anlegen und die Liste aktualisieren, sobald ein neuer Bot auftaucht. Das ist eine Steuer auf diejenigen, die die Inhalte erstellen, und kleine Anbieter zahlen sie vermutlich am härtesten. Ein Token, das alle großen Namen verstehen, ist die Art von unspektakulärer Infrastruktur, die das Web braucht. Dass der Weg über die IETF führt und nicht über einen Blogbeitrag, ist ebenfalls wichtig: Normungsgremien arbeiten langsam, bringen aber meist Dinge hervor, die andere Unternehmen ohne Erlaubnis umsetzen können.

Wir würden außerdem sagen, dass die Darstellung „vier Giganten einigen sich“ das Ganze etwas überhöht. Sich auf eine Syntax zu einigen, kostet diese Unternehmen sehr wenig. Sich prüfen zu lassen oder zu zahlen, würde sie weit mehr kosten, und die Berichte, die wir gefunden haben, beschreiben nichts dergleichen.

Eine Regel, die niemand prüfen kann, ist eine Empfehlung

Hier liegt das Problem. robots.txt wurde nie durch etwas anderes durchgesetzt als durch das gute Verhalten des Crawlers. Golem weist darauf hin, dass die meisten KI-Crawler die Datei brav ignorieren – weshalb sie ein verbindlicher Standard werden soll. Unserer Ansicht nach macht das das neue Token zu einer Korrektur beim Formalen, nicht beim Verhalten: Was auch immer es Verlagen nützt, es beruht weiterhin weitgehend auf dem guten Willen der beteiligten Unternehmen.

Man sollte sich fragen, wen das tatsächlich bindet. Die vier Unterzeichner haben nun eine öffentliche Zusage, und die hat einen gewissen Wert: Ein gebrochenes Versprechen ist zumindest sichtbar. Doch die Scraper, die Verlagen die größten Sorgen bereiten, sind wahrscheinlich diejenigen, die nie etwas unterschrieben haben. Ein Token, dessen Beachtung sie nie zugesagt haben, wird sie nicht aufhalten.

Es gibt eine zweite, leisere Schwäche. Eine Analyse von tech-insider.org nennt unter den Kritikpunkten am Standard, dass „Opt-outs kommen, nachdem die Daten schon weg sind“. Wir halten das für zutreffend. Ein Signal, das von jetzt an gilt, ändert nichts an Modellen, die bereits mit dem Crawl von gestern trainiert wurden. Es ist, als schlösse man die Tür, nachdem jemand das ganze Haus durchschritten hat.

Was das für Verlage bedeutet

Unserer Einschätzung nach ist das Token notwendig, aber längst nicht ausreichend. Verlage wollen Verhandlungsmacht, und die käme aus Dingen, die der Standard in der beschriebenen Form offenbar nicht bietet: eine Möglichkeit, die Einhaltung zu überprüfen, und einen Preis für den Zugriff. Ohne sie ist ein Opt-out eine höfliche Art zu sagen „bitte vorher fragen“, und die Unternehmen, die am meisten davon haben, nicht zu fragen, entscheiden darüber, ob sie zuhören.

Der praktische Rat ist daher einfach. Das Token einfügen, sobald die Crawler es unterstützen, denn es kostet nichts und dokumentiert die eigene Absicht. Aber nicht als Schutz betrachten. Wer Inhalte von echtem Wert hat, sollte es mit technischer Sperrung und, wo möglich, mit Lizenzbedingungen kombinieren. Und den nächsten Schritt genau beobachten: Sobald eine Aufsichtsbehörde oder ein Gericht eine ignorierte robots.txt als Beleg für etwas wertet, könnte diese Zeile weit mehr werden als eine Höflichkeit. Bis dahin ist es eine gute Idee ohne Zähne.