Una riga di robots.txt per i crawler IA era dovuta, ma non ha denti

Che cosa dice del web il fatto che le più grandi aziende di IA abbiano dovuto mettersi d'accordo su un modo per sentirsi dire «no» prima che qualcuno potesse sperare che lo sentissero? Il nuovo segnale condiviso in robots.txt è una buona notizia. È anche un promemoria di quanta parte di internet funzioni ancora sulle buone maniere.

Cosa è stato concordato, in breve

Secondo aiweekly.co, che cita The Verge, Google, Microsoft, Anthropic e OpenAI hanno dichiarato il 30 ottobre che rispetteranno un unico token di policy in robots.txt, __usage_ai-training. Una sola riga permetterebbe a un sito di escludere i propri contenuti dall'addestramento dei modelli di IA su tutti i crawler di queste aziende, invece di una regola per ogni fornitore. Un'altra testata, zglg.work, riferisce che la bozza è stata inviata all'IETF, che Microsoft e OpenAI la implementeranno nei prossimi mesi e che Google seguirà l'anno prossimo.

È tutto qui l'accordo: un vocabolario condiviso, non un nuovo insieme di obblighi.

La soluzione a un problema reale è benvenuta

Meriti dove sono dovuti. Oggi un editore che vuole chiamarsi fuori deve tenere traccia del nome di ogni crawler, aggiungere una regola per ciascuno e aggiornare l'elenco ogni volta che compare un nuovo bot. È una tassa su chi produce i contenuti, e i piccoli probabilmente la pagano più cara. Un token che tutti i grandi nomi capiscono è il tipo di idraulica noiosa di cui il web ha bisogno. Conta anche che passi dall'IETF e non da un post su un blog: gli organismi di standardizzazione sono lenti, ma di solito producono cose che altre aziende possono implementare senza chiedere permesso.

Diremmo anche che presentarlo come «i quattro giganti si accordano» lo vende un po' troppo bene. Accordarsi su una sintassi costa pochissimo a queste aziende. Accettare di essere sottoposte a verifiche, o di pagare, costerebbe molto di più, e le fonti che abbiamo trovato non descrivono nulla del genere.

Una regola che nessuno può verificare è un suggerimento

Ecco il problema. robots.txt non è mai stato fatto rispettare da nulla se non dal buon comportamento del crawler. Golem osserva che la maggior parte dei crawler di IA lo ignora diligentemente, ed è per questo che dovrebbe diventare uno standard vincolante. A nostro avviso, questo fa del nuovo token una correzione della burocrazia, non del comportamento: quali che siano i suoi vantaggi per gli editori, poggia ancora in buona parte sulla buona volontà delle aziende coinvolte.

Pensa a chi vincola davvero. I quattro firmatari hanno ora un impegno pubblico, e questo ha un certo valore: una promessa infranta, almeno, si vede. Ma gli scraper che preoccupano di più gli editori sono probabilmente quelli che non hanno mai firmato nulla. Un token che non hanno mai accettato di leggere non li fermerà.

C'è una seconda debolezza, più silenziosa. Un'analisi di tech-insider.org elenca tra le critiche allo standard che «le esclusioni arrivano quando i dati sono ormai spariti». Crediamo che sia giusto. Un segnale che vale da ora in poi non fa nulla per i modelli già addestrati con la scansione di ieri. È come chiudere la porta dopo che qualcuno ha già girato tutta la casa.

Che cosa resta agli editori

La nostra lettura è che il token sia necessario e ben lontano dall'essere sufficiente. Ciò che gli editori vogliono è un potere contrattuale, e questo verrebbe da cose che lo standard, così com'è descritto, non sembra offrire: un modo per verificare il rispetto delle regole e un prezzo per l'accesso. Senza di essi, l'esclusione è un modo educato per dire «chiedete prima, per favore», e le aziende che hanno più da guadagnare dal non chiedere sono proprio quelle che decidono se ascoltare.

Il consiglio pratico è quindi semplice. Aggiungi il token quando i crawler inizieranno a supportarlo, perché è gratuito e lascia traccia delle tue intenzioni. Ma non considerarlo una protezione. Se i tuoi contenuti hanno un valore reale, abbinalo al blocco tecnico e, dove puoi, a condizioni di licenza. E tieni d'occhio il passo successivo: nel momento in cui un'autorità di regolamentazione o un tribunale tratterà un robots.txt ignorato come prova di qualcosa, questa riga potrebbe diventare molto più di una cortesia. Fino ad allora, è una buona idea senza denti.