Una sola línea de robots.txt para los rastreadores de IA: necesaria, pero sin dientes

¿Qué dice de la web que las mayores empresas de IA hayan tenido que ponerse de acuerdo en una forma de que se les diga «no» antes de que nadie pudiera confiar en que lo oirían? La nueva señal compartida de robots.txt es una buena noticia. Y también un recordatorio de cuánto de internet sigue funcionando a base de buenas maneras.

Qué se ha acordado, en pocas palabras

Según aiweekly.co, que cita a The Verge, Google, Microsoft, Anthropic y OpenAI anunciaron el 30 de octubre que respetarán un único token de política en robots.txt, __usage_ai-training. Una sola línea permitiría a un sitio web excluir su contenido del entrenamiento de modelos de IA en todos los rastreadores de esas empresas, en lugar de una regla por proveedor. Otro medio, zglg.work, asegura que el borrador ya se ha enviado al IETF, que Microsoft y OpenAI lo implementarán en los próximos meses y que Google lo hará el año que viene.

Ese es todo el acuerdo: un vocabulario común, no un nuevo conjunto de obligaciones.

La solución a un lío real es bienvenida

Hay que reconocer lo que merece reconocimiento. Hoy, un editor que quiere salirse tiene que controlar el nombre de cada rastreador, añadir una regla para cada uno y actualizar la lista cada vez que aparece un bot nuevo. Es un impuesto sobre quienes crean el contenido, y probablemente los pequeños son quienes más lo notan. Un token que entiendan todos los grandes es el tipo de fontanería aburrida que necesita la web. Que pase por el IETF y no por una entrada de blog también importa: los organismos de estandarización son lentos, pero suelen producir cosas que otras empresas pueden implementar sin pedir permiso.

También diríamos que presentarlo como «los cuatro gigantes se ponen de acuerdo» exagera un poco. Acordar una sintaxis les cuesta muy poco a estas compañías. Aceptar auditorías, o pagar, les costaría mucho más, y las informaciones que hemos encontrado no describen nada de eso.

Una norma que nadie puede comprobar es una sugerencia

Aquí está el problema. robots.txt nunca ha dependido de nada más que del buen comportamiento del rastreador. Golem señala que la mayoría de los rastreadores de IA lo ignoran sin pudor, y por eso se pretende que se convierta en un estándar vinculante. A nuestro juicio, eso hace del nuevo token un arreglo del papeleo, no del comportamiento: sean cuales sean sus ventajas para los editores, sigue descansando en buena medida en la buena voluntad de las empresas implicadas.

Piensa a quién obliga realmente. Los cuatro firmantes tienen ahora un compromiso público, y eso tiene cierto valor: una promesa rota, al menos, se ve. Pero los scrapers que más preocupan a los editores son probablemente los que nunca firmaron nada. Un token que nunca se comprometieron a leer no los va a frenar.

Hay una segunda debilidad, más discreta. Un análisis de tech-insider.org incluye entre las críticas al estándar que «las exclusiones llegan cuando los datos ya se han ido». Creemos que tiene razón. Una señal que se aplica a partir de ahora no hace nada por los modelos ya entrenados con el rastreo de ayer. Es cerrar la puerta cuando ya se ha paseado alguien por toda la casa.

En qué situación deja a los editores

Nuestra lectura es que el token es necesario y está muy lejos de ser suficiente. Lo que quieren los editores es capacidad de presión, y esa vendría de cosas que el estándar, tal como se describe, no parece ofrecer: una forma de verificar el cumplimiento y un precio por el acceso. Sin ellas, excluirse es una manera educada de decir «por favor, pregunta antes», y las empresas que más ganan si no preguntan son justo las que deciden si escuchan.

Así que el consejo práctico es sencillo. Añade el token cuando los rastreadores empiecen a admitirlo, porque es gratis y deja constancia de tu intención. Pero no lo trates como una protección. Si tu contenido tiene valor real, combínalo con bloqueo técnico y, cuando puedas, con condiciones de licencia. Y vigila de cerca el siguiente paso: el día que un regulador o un tribunal trate un robots.txt ignorado como prueba de algo, esta línea podría ser mucho más que una cortesía. Hasta entonces, es una buena idea sin dientes.