Une ligne robots.txt pour les crawlers d’IA était attendue, mais elle n’a aucun mordant

Que dit-il du web que les plus grandes entreprises d’IA aient dû s’accorder sur une façon de se faire dire « non » avant que quiconque puisse espérer être entendu ? Le nouveau signal robots.txt commun est une bonne nouvelle. C’est aussi un rappel: une grande partie d’internet fonctionne encore sur les bonnes manières.

Ce qui a été convenu, en bref

Selon aiweekly.co, qui cite The Verge, Google, Microsoft, Anthropic et OpenAI ont annoncé le 30 octobre qu’ils respecteraient un unique jeton de politique robots.txt, __usage_ai-training. Une seule ligne permettrait à un site d’exclure son contenu de l’entraînement des modèles d’IA pour tous les crawlers de ces entreprises, au lieu d’une règle par fournisseur. Un autre média, zglg.work, indique que le projet a été transmis à l’IETF, que Microsoft et OpenAI le mettront en œuvre dans les prochains mois et que Google suivra l’an prochain.

C’est tout l’accord: un vocabulaire commun, pas de nouvelles obligations.

Une solution bienvenue à un vrai casse-tête

Il faut rendre à César ce qui est à César. Aujourd’hui, un éditeur qui veut s’exclure doit suivre le nom de chaque crawler, ajouter une règle pour chacun et mettre la liste à jour à chaque nouveau bot. C’est une taxe sur ceux qui produisent le contenu, et les petits acteurs la paient probablement le plus cher. Un jeton que tous les grands noms comprennent, c’est le genre de plomberie sans éclat dont le web a besoin. Le fait que le texte passe par l’IETF, et non par un simple billet de blog, compte aussi: les organismes de normalisation sont lents, mais ils produisent généralement des choses que d’autres entreprises peuvent mettre en œuvre sans demander la permission.

Nous dirions aussi que présenter l’affaire comme « les quatre géants s’accordent » la survend un peu. S’entendre sur une syntaxe coûte très peu à ces entreprises. Accepter d’être auditées, ou de payer, leur coûterait bien davantage, et les articles que nous avons trouvés ne décrivent rien de tel.

Une règle que personne ne peut vérifier n’est qu’une suggestion

Voici le problème. robots.txt n’a jamais été appliqué par autre chose que le bon comportement du crawler. Golem rappelle que la plupart des crawlers d’IA l’ignorent consciencieusement, et c’est pour cela qu’il doit devenir une norme contraignante. À nos yeux, le nouveau jeton règle donc la paperasse, pas le comportement: quels que soient ses avantages pour les éditeurs, il repose encore en grande partie sur la bonne volonté des entreprises concernées.

Il faut se demander qui cela engage vraiment. Les quatre signataires ont désormais un engagement public, et il a une certaine valeur: une promesse rompue se voit, au moins. Mais les scrapers qui inquiètent le plus les éditeurs sont probablement ceux qui n’ont jamais rien signé. Un jeton qu’ils n’ont jamais accepté de lire ne les arrêtera pas.

Il existe une seconde faiblesse, plus discrète. Une analyse de tech-insider.org range parmi les critiques de la norme le fait que « les refus arrivent une fois les données parties ». Nous pensons que c’est juste. Un signal qui s’applique à partir de maintenant ne change rien pour les modèles déjà entraînés sur l’exploration d’hier. C’est fermer la porte après que quelqu’un a parcouru toute la maison.

Ce que cela change pour les éditeurs

Notre lecture est que le jeton est nécessaire, mais loin d’être suffisant. Ce que veulent les éditeurs, c’est un rapport de force, et celui-ci viendrait de choses que la norme, telle que décrite, ne semble pas offrir: un moyen de vérifier le respect des règles et un prix pour l’accès. Sans cela, un refus est une façon polie de dire « demandez d’abord, s’il vous plaît », et les entreprises qui ont le plus à gagner à ne pas demander sont précisément celles qui décident d’écouter ou non.

Le conseil pratique est donc simple. Ajoutez le jeton quand les crawlers commenceront à le prendre en charge, car il est gratuit et laisse une trace de votre intention. Mais ne le considérez pas comme une protection. Si votre contenu a une vraie valeur, associez-le à un blocage technique et, si possible, à des conditions de licence. Et surveillez de près la suite: le jour où un régulateur ou un tribunal verra dans un robots.txt ignoré la preuve de quelque chose, cette ligne pourrait devenir bien plus qu’une politesse. D’ici là, c’est une bonne idée sans mordant.