A brecha na Anthropic não é sobre modelos: é sobre a proliferação de SaaS

Doze horas. Foi o tempo que, segundo relatos, os agentes de IA de uma startup levaram para entrar nos sistemas internos de um dos principais laboratórios de IA. A manchete é dramática, mas o interessante é por onde eles entraram e o que isso diz sobre como devemos avaliar qualquer laboratório que queira os nossos dados.

Os invasores entraram pela porta lateral

A Cathedral, uma startup de cibersegurança, diz ter chegado aos sistemas internos da Anthropic em menos de 12 horas usando agentes de IA, segundo o Gizmodo en Español. De acordo com o eSecurity Planet, que cita um rascunho de relatório analisado pelo The Washington Post, os agentes autônomos teriam explorado vulnerabilidades em ferramentas administrativas e de vendas de terceiros. Eles viram registros de salários, ofertas de emprego, transcrições de reuniões e mensagens do Slack sobre modelos avançados.

A Anthropic confirmou o acesso a um “conjunto limitado” de suas plataformas de vendas, RH e TI. Diz que conversas de clientes, código-fonte e pesos dos modelos nunca foram tocados, que seu monitoramento sinalizou parte da atividade e que cortou o acesso no mesmo dia. Também contesta a forma como a Cathedral apresenta o risco à segurança nacional e afirma que os pesquisadores violaram as regras do programa de bug bounty ao não divulgar toda a sua atividade. A Cathedral diz que manteve o acesso aos dados no mínimo. São versões conflitantes, e não temos como resolvê-las daqui.

As 12 horas são meio que um truque, e isso torna tudo mais preocupante

Lendo com atenção, o número de 12 horas se aplica a aplicações de negócios de terceiros. A Anthropic diz que os mesmos pesquisadores já tinham passado vários dias tentando entrar diretamente em seus sistemas proprietários. Ou seja, as joias da coroa resistiram. Ótimo.

Mas é exatamente esse o ponto. Os laboratórios despejam dinheiro na proteção do modelo e, ao que parece, tratam a infraestrutura ao redor como algo secundário: o CRM, a ferramenta de folha de pagamento, os painéis de administração. Invasores, humanos ou automatizados, não ligam para o nosso organograma de ativos “importantes”. Eles pegam o caminho mais fraco. Um agente que sonda sem cansar cada serviço conectado provavelmente encontrará esse caminho mais rápido do que uma equipe de pessoas revisando uma lista de verificação uma vez por ano.

Para nós, a lição não é “a Anthropic foi descuidada”, embora Alex Stamos, diretor de segurança da informação da Cognition, tenha dito ao The Washington Post que “a Anthropic poderia ter feito muito melhor”. A lição é que uma auditoria pontual de um parque de SaaS enorme fica obsoleta no dia em que é assinada. Se uma startup jovem consegue chegar a essa superfície em meio dia, é razoável supor que adversários com mais recursos também consigam.

Red teaming automatizado contínuo deveria ser o mínimo

Nossa posição é simples. Qualquer laboratório ou fornecedor que guarde dados corporativos sensíveis deveria executar, de forma contínua, ataques automatizados conduzidos por agentes contra si mesmo, cobrindo a camada chata dos terceiros e não só o modelo. Quem defende tem acesso ao mesmo tipo de ferramenta que quem ataca, além da vantagem de conhecer o terreno. Não usá-las é uma escolha.

Há um ponto positivo discreto nesta história: a Anthropic diz que seu monitoramento sinalizou parte da atividade da Cathedral antes de os pesquisadores a reportarem. A detecção funcionou, pelo menos em parte. É assim que um programa maduro se parece, e é isso que vale medir: não “vocês foram invadidos?”, mas “com que rapidez perceberam e quanto foi possível acessar?”.

Os clientes têm poder de barganha e devem exigir provas

Os compradores corporativos têm poder de barganha agora e devem usá-lo. Pergunte ao seu fornecedor de IA, por escrito:

• Com que frequência o red teaming automatizado é executado, e ele cobre SaaS e integrações de terceiros, não apenas o modelo?
• Qual foi o tempo até a detecção no último exercício?
• Que dados de contato de parceiros e clientes estão nas ferramentas administrativas, e quem pode acessá-los?

A matéria do eSecurity Planet observa que a Anthropic reconheceu que dados de contato de alguns parceiros e clientes, além de registros básicos de contas, estavam acessíveis. Isso não é catastrófico, mas é o tipo de detalhe que as equipes de compras deveriam investigar antes de assinar, e não depois de ler uma notícia.

Uma ressalva: boa parte disso se baseia em um rascunho de relatório e em uma disputa entre um pesquisador e seu alvo, e a cobertura ainda está no começo. Evitaríamos declarar um vencedor. Mas a direção parece clara. Quando os invasores trabalham na velocidade das máquinas, “passamos em um pentest anual” deixa de ser resposta. Nosso veredicto: trate o red teaming automatizado contínuo como o mínimo e trate qualquer fornecedor que não consiga mostrar evidências disso como um risco que você escolhe carregar.