La brèche d’Anthropic ne concerne pas les modèles, mais la prolifération des SaaS

Douze heures. C’est le temps qu’auraient mis les agents IA d’une startup pour pénétrer dans les systèmes internes de l’un des principaux laboratoires d’IA. Le titre est spectaculaire, mais le plus intéressant, c’est l’endroit par où ils sont entrés, et ce que cela dit de la façon dont nous devrions juger chaque laboratoire qui veut nos données.

Les attaquants sont entrés par la porte de service

Cathedral, une startup de cybersécurité, affirme avoir atteint les systèmes internes d’Anthropic en moins de 12 heures grâce à des agents IA, comme le rapporte Gizmodo en Español. Selon eSecurity Planet, qui cite un projet de rapport consulté par The Washington Post, les agents autonomes auraient exploité des vulnérabilités dans des outils d’administration et de vente tiers. Ils ont pu voir des fiches de salaire, des offres d’emploi, des transcriptions de réunions et des messages Slack concernant des modèles avancés.

Anthropic a confirmé l’accès à un « ensemble limité » de ses plateformes de vente, de RH et d’informatique. L’entreprise assure que les conversations des clients, le code source et les poids des modèles n’ont jamais été touchés, que sa surveillance a signalé une partie de l’activité et qu’elle a coupé l’accès le jour même. Elle conteste aussi la présentation par Cathedral du risque pour la sécurité nationale et affirme que les chercheurs ont enfreint les règles du bug bounty en ne divulguant pas toute leur activité. Cathedral affirme avoir limité l’accès aux données au strict minimum. Ce sont des versions contradictoires, que nous ne pouvons pas trancher d’ici.

Les 12 heures relèvent un peu du tour de passe-passe, ce qui est plus inquiétant encore

À y regarder de près, le chiffre de 12 heures concerne des applications métier tierces. Anthropic indique que les mêmes chercheurs avaient auparavant passé plusieurs jours à tenter d’entrer directement dans ses systèmes propriétaires. Les joyaux de la couronne ont donc tenu. Tant mieux.

Mais c’est justement là le point. Les laboratoires investissent des sommes considérables pour protéger le modèle et, semble-t-il, traitent la tuyauterie qui l’entoure comme un détail: le CRM, l’outil de paie, les tableaux de bord d’administration. Les attaquants, humains ou automatisés, se moquent de notre organigramme des actifs « importants ». Ils prennent le chemin le plus mou. Un agent qui sonde sans relâche chaque service connecté trouvera probablement ce chemin plus vite qu’une équipe qui passe en revue une liste de contrôle une fois par an.

Nous pensons que la leçon n’est pas « Anthropic a été négligente », même si Alex Stamos, directeur de la sécurité de l’information chez Cognition, a déclaré au Washington Post qu’« Anthropic aurait pu faire bien mieux ». La leçon, c’est qu’un audit ponctuel d’un parc SaaS tentaculaire est obsolète le jour de sa signature. Si une jeune startup peut atteindre cette surface en une demi-journée, il est raisonnable de supposer que des adversaires mieux dotés le peuvent aussi.

Le red teaming automatisé continu devrait être la base

Notre position est simple. Tout laboratoire ou fournisseur détenant des données d’entreprise sensibles devrait lancer en continu des attaques automatisées, pilotées par des agents, contre lui-même, en couvrant la couche tierce, peu glamour, et pas seulement le modèle. Les défenseurs ont accès au même type d’outils que les attaquants, avec en plus l’avantage de connaître le terrain. Ne pas s’en servir est un choix.

Il y a un point positif discret dans cette histoire: Anthropic affirme que sa surveillance a signalé une partie de l’activité de Cathedral avant que les chercheurs ne la déclarent. La détection a fonctionné, au moins en partie. C’est à cela que ressemble un programme mature, et c’est ce qui mérite d’être mesuré: non pas « avez-vous été piratés ? », mais « à quelle vitesse l’avez-vous remarqué, et à quoi a-t-on pu accéder ? »

Les clients ont du poids et devraient exiger des preuves

Les acheteurs en entreprise ont aujourd’hui un levier, et ils devraient l’utiliser. Demandez par écrit à votre fournisseur d’IA:

• À quelle fréquence le red teaming automatisé est-il exécuté, et couvre-t-il les SaaS et intégrations tiers, pas seulement le modèle ?
• Quel a été le délai de détection lors du dernier exercice ?
• Quelles données de contact de partenaires et de clients se trouvent dans les outils d’administration, et qui peut y accéder ?

L’article d’eSecurity Planet note qu’Anthropic a reconnu que les coordonnées de certains partenaires et clients, ainsi que des données de compte de base, étaient accessibles. Ce n’est pas catastrophique, mais c’est le genre de détail que les équipes achats devraient examiner avant de signer, et non après avoir lu un article.

Une réserve: une grande partie de tout cela repose sur un projet de rapport et sur un différend entre un chercheur et sa cible, et la couverture est encore à ses débuts. Nous éviterions de désigner un vainqueur. Mais la direction semble claire. Quand les attaquants travaillent à la vitesse des machines, « nous réussissons un test d’intrusion annuel » n’est plus une réponse. Notre verdict: considérez le red teaming automatisé continu comme un minimum, et tout fournisseur incapable d’en apporter la preuve comme un risque que vous choisissez de porter.