La brecha de Anthropic no va de modelos, sino de la maraña de SaaS

Doce horas. Es lo que, según se ha informado, tardaron los agentes de IA de una startup en entrar en los sistemas internos de uno de los principales laboratorios de IA. El titular es dramático, pero lo interesante es por dónde entraron y lo que eso dice sobre cómo deberíamos juzgar a cualquier laboratorio que quiera nuestros datos.

Los atacantes entraron por la puerta lateral

Cathedral, una startup de ciberseguridad, asegura que llegó a los sistemas internos de Anthropic en menos de 12 horas con agentes de IA, según informa Gizmodo en Español. Según eSecurity Planet, que cita un borrador de informe revisado por The Washington Post, los agentes autónomos habrían aprovechado vulnerabilidades en herramientas administrativas y de ventas de terceros. Vieron registros salariales, ofertas de empleo, transcripciones de reuniones y mensajes de Slack sobre modelos avanzados.

Anthropic confirmó el acceso a un «conjunto limitado» de sus plataformas de ventas, RR. HH. y TI. Asegura que nunca se tocaron las conversaciones de los clientes, el código fuente ni los pesos de los modelos, que su sistema de monitorización detectó parte de la actividad y que cortó el acceso ese mismo día. También discute el planteamiento de Cathedral sobre el riesgo para la seguridad nacional y dice que los investigadores incumplieron las normas del programa de bug bounty al no revelar toda su actividad. Cathedral afirma que limitó el acceso a los datos al mínimo. Son versiones enfrentadas y no podemos zanjarlas desde aquí.

Las 12 horas son un poco un truco, y eso lo hace más preocupante

Si se lee con atención, la cifra de 12 horas se aplica a aplicaciones empresariales de terceros. Anthropic dice que esos mismos investigadores habían pasado antes varios días intentando entrar directamente en sus sistemas propios. Es decir, las joyas de la corona resistieron. Bien.

Pero ese es justo el punto. Los laboratorios invierten mucho dinero en proteger el modelo y, al parecer, tratan como algo secundario la fontanería que lo rodea: el CRM, la herramienta de nóminas, los paneles de administración. A los atacantes, humanos o automáticos, no les importa nuestro organigrama de activos «importantes». Van por el camino más blando. Un agente que sondea sin descanso todos los servicios conectados probablemente encuentre ese camino antes que un equipo de personas que revisa una lista de comprobación una vez al año.

Creemos que la lección no es «Anthropic fue descuidada», aunque Alex Stamos, director de seguridad de la información de Cognition, dijo a The Washington Post que «Anthropic podría haberlo hecho mucho mejor». La lección es que una auditoría puntual de un parque de SaaS enorme queda obsoleta el mismo día en que se firma. Si una startup joven puede llegar a esa superficie en medio día, es razonable suponer que adversarios con más recursos también.

El red teaming automatizado continuo debería ser lo mínimo exigible

Nuestra postura es sencilla. Cualquier laboratorio o proveedor que custodie datos corporativos sensibles debería lanzar contra sí mismo, de forma continua, ataques automatizados con agentes, y cubrir la capa aburrida de terceros y no solo el modelo. Los defensores tienen acceso al mismo tipo de herramientas que los atacantes y, además, la ventaja de conocer el terreno. No usarlas es una decisión.

Hay un aspecto positivo discreto en esta historia: Anthropic dice que su monitorización detectó parte de la actividad de Cathedral antes de que los investigadores la comunicaran. La detección funcionó, al menos en parte. Así es un programa maduro, y eso es lo que merece la pena medir: no «¿os han vulnerado?», sino «¿con qué rapidez os disteis cuenta y a cuánto se pudo acceder?».

Los clientes tienen palanca y deberían exigir pruebas

Los compradores corporativos tienen ahora mismo capacidad de presión, y deberían usarla. Pregunta por escrito a tu proveedor de IA:

• ¿Con qué frecuencia se ejecuta el red teaming automatizado y cubre el SaaS y las integraciones de terceros, no solo el modelo?
• ¿Cuál fue el tiempo de detección en el último ejercicio?
• ¿Qué datos de contacto de socios y clientes hay en las herramientas administrativas y quién puede acceder a ellos?

El artículo de eSecurity Planet señala que Anthropic reconoció que los datos de contacto de algunos socios y clientes, además de registros básicos de cuentas, eran accesibles. No es catastrófico, pero es el tipo de detalle que los equipos de compras deberían investigar antes de firmar, no después de leerlo en una noticia.

Una salvedad: buena parte de esto se apoya en un borrador de informe y en una disputa entre un investigador y su objetivo, y la cobertura aún es temprana. Evitaríamos declarar un ganador. Pero el rumbo parece claro. Cuando los atacantes trabajan a velocidad de máquina, «pasamos un pentest anual» deja de ser una respuesta. Nuestro veredicto: considera el red teaming automatizado continuo como el mínimo y trata a cualquier proveedor que no pueda demostrarlo como un riesgo que eliges asumir.