Uma linha de robots.txt para rastreadores de IA era necessária, mas não tem força

O que diz sobre a web o fato de as maiores empresas de IA terem precisado combinar uma forma de ouvir um "não" antes que alguém pudesse contar com que elas o escutassem? O novo sinal compartilhado de robots.txt é uma boa notícia. Também é um lembrete de quanto da internet ainda funciona na base da boa educação.

O que foi combinado, em resumo

Segundo o aiweekly.co, que cita o The Verge, Google, Microsoft, Anthropic e OpenAI afirmaram em 30 de outubro que vão respeitar um único token de política no robots.txt, __usage_ai-training. Uma linha permitiria a um site excluir seu conteúdo do treinamento de modelos de IA em todos os rastreadores dessas empresas, em vez de uma regra por provedor. Outro veículo, o zglg.work, diz que o rascunho foi enviado à IETF, que Microsoft e OpenAI vão implementá-lo nos próximos meses e que o Google virá no ano que vem.

É só isso o acordo: um vocabulário comum, não um novo conjunto de obrigações.

A solução para uma bagunça real é bem-vinda

É justo reconhecer o mérito. Hoje, um editor que quer ficar de fora precisa acompanhar o nome de cada rastreador, adicionar uma regra para cada um e atualizar a lista sempre que surge um bot novo. É um imposto sobre quem produz o conteúdo, e os pequenos provavelmente sentem mais o peso. Um token que todos os grandes nomes entendam é o tipo de encanamento chato de que a web precisa. O fato de ele passar pela IETF, e não por um post de blog, também importa: órgãos de padronização são lentos, mas costumam produzir coisas que outras empresas podem implementar sem pedir licença.

Também diríamos que a versão "os quatro gigantes entram em acordo" exagera um pouco. Concordar com uma sintaxe custa muito pouco a essas empresas. Aceitar auditorias, ou pagar, custaria muito mais, e as reportagens que encontramos não descrevem nada disso.

Uma regra que ninguém pode checar é uma sugestão

Aqui está o problema. O robots.txt nunca foi garantido por nada além do bom comportamento do rastreador. O Golem observa que a maioria dos rastreadores de IA o ignora na maior tranquilidade, e é por isso que ele deveria virar um padrão vinculante. Na nossa visão, isso faz do novo token um conserto da papelada, não do comportamento: quaisquer que sejam seus benefícios para os editores, ele ainda depende em boa parte da boa vontade das empresas envolvidas.

Pense em quem isso realmente obriga. Os quatro signatários agora têm um compromisso público, e isso tem algum valor: uma promessa quebrada, ao menos, fica visível. Mas os scrapers que mais preocupam os editores provavelmente são os que nunca assinaram nada. Um token que eles nunca concordaram em ler não vai detê-los.

Há uma segunda fraqueza, mais discreta. Uma análise do tech-insider.org lista entre as críticas ao padrão que "as exclusões chegam depois que os dados já se foram". Achamos que isso procede. Um sinal que vale daqui para a frente não faz nada pelos modelos já treinados com a coleta de ontem. É trancar a porta depois que alguém já passeou pela casa inteira.

Onde isso deixa os editores

Nossa leitura é que o token é necessário e está longe de ser suficiente. O que os editores querem é poder de barganha, e ele viria de coisas que o padrão, como descrito, não parece oferecer: uma forma de verificar o cumprimento e um preço pelo acesso. Sem elas, excluir-se é um jeito educado de dizer "por favor, pergunte antes", e as empresas que mais ganham ao não perguntar são justamente as que decidem se vão ouvir.

Então o conselho prático é simples. Adicione o token quando os rastreadores passarem a aceitá-lo, porque é de graça e deixa registrada a sua intenção. Mas não o trate como proteção. Se o seu conteúdo tem valor real, combine-o com bloqueio técnico e, quando puder, com termos de licenciamento. E acompanhe de perto o próximo passo: no dia em que um órgão regulador ou um tribunal tratar um robots.txt ignorado como prova de alguma coisa, essa linha pode virar muito mais do que uma cortesia. Até lá, é uma boa ideia sem força.