La violazione di Anthropic non riguarda i modelli, ma la giungla di SaaS

Dodici ore. È il tempo che, stando alle notizie, gli agenti IA di una startup avrebbero impiegato per entrare nei sistemi interni di uno dei principali laboratori di IA. Il titolo è drammatico, ma la parte interessante è da dove sono entrati e cosa dice su come dovremmo giudicare ogni laboratorio che vuole i nostri dati.

Gli attaccanti sono entrati dalla porta laterale

Cathedral, una startup di cybersicurezza, dice di essere arrivata ai sistemi interni di Anthropic in meno di 12 ore usando agenti IA, come riporta Gizmodo en Español. Secondo eSecurity Planet, che cita una bozza di rapporto visionata dal Washington Post, gli agenti autonomi avrebbero sfruttato vulnerabilità in strumenti amministrativi e di vendita di terze parti. Hanno visto dati sugli stipendi, offerte di lavoro, trascrizioni di riunioni e messaggi Slack su modelli avanzati.

Anthropic ha confermato l’accesso a un «insieme limitato» delle sue piattaforme di vendite, HR e IT. Dice che le conversazioni dei clienti, il codice sorgente e i pesi dei modelli non sono mai stati toccati, che il suo monitoraggio ha segnalato parte dell’attività e che ha interrotto l’accesso lo stesso giorno. Contesta inoltre la presentazione che Cathedral fa del rischio per la sicurezza nazionale e sostiene che i ricercatori abbiano violato le regole del bug bounty non rivelando tutta la loro attività. Cathedral afferma di aver limitato al minimo l’accesso ai dati. Sono versioni contrastanti e da qui non possiamo dirimerle.

Le 12 ore sono un po’ un trucco, e questo lo rende più preoccupante

Leggendo con attenzione, la cifra di 12 ore vale per le applicazioni aziendali di terze parti. Anthropic dice che gli stessi ricercatori avevano prima passato diversi giorni a tentare di entrare direttamente nei suoi sistemi proprietari. Quindi i gioielli della corona hanno retto. Bene.

Ma è proprio questo il punto. I laboratori investono molto per proteggere il modello e, a quanto pare, trattano come un dettaglio l’impianto che lo circonda: il CRM, lo strumento delle buste paga, le dashboard di amministrazione. Agli attaccanti, umani o automatici, non importa nulla del nostro organigramma di asset «importanti». Scelgono la strada più morbida. Un agente che sonda senza sosta ogni servizio connesso probabilmente troverà quella strada più in fretta di un team di persone che rivede una checklist una volta all’anno.

Pensiamo che la lezione non sia «Anthropic è stata sciatta», anche se Alex Stamos, chief information security officer di Cognition, ha detto al Washington Post che «Anthropic avrebbe potuto fare molto meglio». La lezione è che un audit puntuale di un parco SaaS sterminato è obsoleto il giorno stesso in cui viene firmato. Se una giovane startup riesce a raggiungere quella superficie in mezza giornata, è ragionevole supporre che possano farlo anche avversari con più risorse.

Il red teaming automatizzato continuo dovrebbe essere il minimo

La nostra posizione è semplice. Ogni laboratorio o fornitore che custodisce dati aziendali sensibili dovrebbe lanciare contro se stesso, in modo continuo, attacchi automatizzati condotti da agenti, coprendo il noioso livello delle terze parti e non solo il modello. Chi difende ha accesso allo stesso tipo di strumenti di chi attacca, con in più il vantaggio di conoscere il terreno. Non usarli è una scelta.

In questa storia c’è un aspetto positivo discreto: Anthropic dice che il suo monitoraggio ha segnalato parte dell’attività di Cathedral prima che i ricercatori la comunicassero. Il rilevamento ha funzionato, almeno in parte. È così che appare un programma maturo, ed è questo che vale la pena misurare: non «siete stati violati?», ma «quanto in fretta ve ne siete accorti e a cosa si poteva accedere?».

I clienti hanno leva e dovrebbero pretendere prove

Gli acquirenti aziendali hanno oggi una leva e dovrebbero usarla. Chiedi per iscritto al tuo fornitore di IA:

• Con quale frequenza viene eseguito il red teaming automatizzato e copre i SaaS e le integrazioni di terze parti, non solo il modello?
• Qual è stato il tempo di rilevamento nell’ultima esercitazione?
• Quali dati di contatto di partner e clienti si trovano negli strumenti amministrativi e chi può accedervi?

L’articolo di eSecurity Planet osserva che Anthropic ha riconosciuto che i recapiti di alcuni partner e clienti, oltre a dati di base degli account, erano accessibili. Non è catastrofico, ma è il genere di dettaglio che gli uffici acquisti dovrebbero verificare prima di firmare, non dopo aver letto una notizia.

Una precisazione: gran parte di tutto questo poggia su una bozza di rapporto e su una disputa tra un ricercatore e il suo bersaglio, e la copertura è ancora agli inizi. Eviteremmo di proclamare un vincitore. Ma la direzione sembra chiara. Quando gli attaccanti lavorano alla velocità delle macchine, «superiamo un pentest annuale» smette di essere una risposta. Il nostro verdetto: considera il red teaming automatizzato continuo il minimo e tratta qualsiasi fornitore che non sappia dimostrarlo come un rischio che scegli di sostenere.