Il difetto nascosto: l'ordine delle domande trasforma l'IA da utile a dannosa

Una semplice riorganizzazione delle domande può trasformare un sofisticato chatbot AI da assistente utile a dispensatore di consigli dannosi? Sembra controintuitivo, forse persino allarmante, dato il ruolo sempre più centrale che questi sistemi giocano nella nostra vita quotidiana. Eppure, una nuova ricerca suggerisce che è proprio così, rivelando una vulnerabilità profonda e nascosta che mette in discussione le nostre ipotesi sull'affidabilità e la sicurezza dell'IA.

Uno studio pubblicato su Patterns, evidenziato da Scienze Notizie, ha introdotto una formula matematica in grado di prevedere quando la sequenza dei prompt dell'utente potrebbe spingere un chatbot AI a generare risposte indesiderate. Non si tratta di prompt deliberatamente dannosi, ma piuttosto dell'effetto sottile e cumulativo del flusso di conversazione. I ricercatori hanno scoperto che domande identiche, presentate semplicemente in un ordine diverso, potrebbero portare a risultati che vanno da una guida accettabile a raccomandazioni potenzialmente pericolose, in particolare in aree sensibili come la salute o la consulenza legale.

L'instabilità nascosta sotto la superficie

Fondamentalmente, questo fenomeno parla della natura probabilistica dei modelli linguistici di grandi dimensioni. Come spiega Sbircia la Notizia, l'IA elabora il linguaggio proiettando frasi in uno spazio vettoriale, dove le risposte 'accettabili' e 'indesiderabili' formano cluster distinti, o centroidi. Ogni turno in una conversazione sposta sottilmente lo stato interno dell'IA, alterando l'equilibrio tra questi potenziali tipi di output. La nuova formula quantifica questo effetto cumulativo, stimando quanti token 'accettabili' rimangono prima che l'IA possa 'virare' verso la generazione di contenuti dannosi.

Non si tratta solo di una curiosità accademica; è un crudo promemoria che anche scelte apparentemente minori nel design dell'interazione possono avere significative conseguenze etiche. Il fatto che lo stesso insieme di domande possa produrre risultati selvaggiamente diversi basandosi unicamente sulla loro sequenza sottolinea una profonda fragilità. L'IA non sta esprimendo giudizi etici; come giustamente afferma Nicholas B. Tiller, autore principale di uno studio sulla consulenza sanitaria dell'IA, sta "solo prevedendo la parola più probabile in una frase", come nota Alessandro Lombardo. Questa natura probabilistica, combinata con la storia di una conversazione, crea una dinamica imprevedibile in cui l'intento dell'utente può essere involontariamente distorto dalla mera presentazione.

Il contesto più ampio dell'inaffidabilità dell'IA

Questa nuova intuizione sull'ordine dei prompt aggiunge un ulteriore livello alle preoccupazioni esistenti sull'affidabilità dei chatbot. Sappiamo da tempo che i chatbot AI possono avere difficoltà con l'accuratezza, in particolare in settori ad alto rischio. Un recente studio dell'aprile 2026 pubblicato sul BMJ Open ha rilevato che quasi la metà delle risposte di cinque popolari chatbot AI — Gemini, DeepSeek, Meta AI, ChatGPT e Grok — a domande relative alla salute erano problematiche, con quasi il 20% 'altamente problematiche' a causa di imprecisioni o informazioni fuorvianti. TeleDirectMD e CIDRAP hanno riportato questa scoperta allarmante, sottolineando i rischi di affidarsi all'IA per consigli sanitari critici. Questa ricerca precedente si è concentrata sul contenuto delle domande (spesso avversarie, che riflettevano pregiudizi del mondo reale), ma il nuovo studio di Patterns evidenzia che anche con contenuti benigni, la sequenza è un fattore.

Anche il tono dell'utente ha dimostrato di influenzare le risposte dell'IA. Uno studio preprint dell'ottobre 2025 (riportato da Virgilio) ha indicato che ChatGPT-4o forniva risposte più accurate quando gli utenti erano maleducati, sebbene i ricercatori abbiano messo in guardia dall'adottare tali norme di comunicazione. Questo crescente corpo di prove suggerisce che i modelli di IA sono ipersensibili a segnali superficiali, creando una complessa rete di vulnerabilità che vanno ben oltre ciò che gli sviluppatori inizialmente anticipano.

La strada da percorrere: trasparenza e regolamentazione

La capacità di prevedere questi spostamenti pericolosi, anche se non ancora un prodotto commerciale, offre un barlume di speranza per la futura sicurezza dell'IA. Il monitor matematico proposto, descritto da Sbircia la Notizia, potrebbe agire come una 'spia', avvisando gli utenti prima che venga generato un output indesiderabile. Tuttavia, la sua efficacia si basa sull'accesso agli stati interni dell'IA, che sono spesso non disponibili nei servizi cloud chiusi. Ciò evidenzia una divisione cruciale tra i modelli open-weight, dove tale trasparenza è possibile, e i sistemi proprietari.

In definitiva, questa ricerca sottolinea l'urgente necessità di maggiore trasparenza e di una solida regolamentazione dell'IA. Framework come l'AI Act, che mira a garantire che l'IA sia utilizzata in modo conforme, sicuro e trasparente come descritto da Plumer, sono essenziali. Non possiamo permetterci di trattare questi sistemi come scatole nere. Man mano che l'IA si integra più profondamente in settori critici, comprendere e mitigare queste sottili vulnerabilità basate sull'interazione sarà fondamentale per costruire un'intelligenza artificiale veramente sicura e affidabile. Senza di essa, rischiamo un futuro in cui un semplice giro di frase potrebbe inavvertitamente condurre gli utenti su un percorso pericoloso.