Der Anthropic-Einbruch betrifft nicht die Modelle, sondern den SaaS-Wildwuchs

Zwölf Stunden. So lange brauchten die KI-Agenten eines Startups Berichten zufolge, um in interne Systeme eines der führenden KI-Labore einzudringen. Die Schlagzeile ist dramatisch, doch interessant ist, wo sie eingedrungen sind und was das darüber aussagt, wie wir jedes Labor beurteilen sollten, das unsere Daten haben will.

Die Angreifer kamen durch die Seitentür

Cathedral, ein Cybersicherheits-Startup, gibt an, mit KI-Agenten in weniger als 12 Stunden auf interne Systeme von Anthropic zugegriffen zu haben, wie Gizmodo en Español berichtet. Laut eSecurity Planet, das sich auf einen von der Washington Post eingesehenen Berichtsentwurf beruft, nutzten die autonomen Agenten Schwachstellen in Verwaltungs- und Vertriebstools von Drittanbietern aus. Sie sahen Gehaltsdaten, Stellenangebote, Besprechungsprotokolle und Slack-Nachrichten über fortgeschrittene Modelle.

Anthropic bestätigte den Zugriff auf eine „begrenzte Auswahl“ seiner Vertriebs-, Personal- und IT-Plattformen. Das Unternehmen erklärt, Kundengespräche, Quellcode und Modellgewichte seien nie berührt worden, die Überwachung habe einen Teil der Aktivitäten gemeldet, und der Zugang sei noch am selben Tag gesperrt worden. Zudem bestreitet es Cathedrals Darstellung des Risikos für die nationale Sicherheit und sagt, die Forscher hätten gegen die Regeln des Bug-Bounty-Programms verstoßen, weil sie nicht ihre gesamte Aktivität offengelegt hätten. Cathedral sagt, es habe den Datenzugriff auf das Minimum beschränkt. Das sind widersprüchliche Darstellungen, die wir von hier aus nicht klären können.

Die 12 Stunden sind ein wenig ein Trick – und das macht es besorgniserregender

Bei genauer Lektüre bezieht sich die Zahl von 12 Stunden auf Geschäftsanwendungen von Drittanbietern. Anthropic sagt, dieselben Forscher hätten zuvor mehrere Tage lang versucht, direkt in die eigenen Systeme einzudringen. Die Kronjuwelen haben also gehalten. Gut.

Genau das ist aber der Punkt. Labore stecken viel Geld in den Schutz des Modells und behandeln die Installation drumherum offenbar als Nebensache: das CRM, das Gehaltsabrechnungstool, die Admin-Dashboards. Angreifer, ob Mensch oder Automat, interessiert unser Organigramm „wichtiger“ Assets nicht. Sie nehmen den weichsten Weg. Ein Agent, der unermüdlich jeden angebundenen Dienst abklopft, wird diesen Weg wahrscheinlich schneller finden als ein Team, das einmal im Jahr eine Checkliste abarbeitet.

Wir meinen, die Lehre lautet nicht „Anthropic war nachlässig“, auch wenn Alex Stamos, Chief Information Security Officer bei Cognition, der Washington Post sagte, „Anthropic hätte vieles besser machen können“. Die Lehre ist, dass ein punktuelles Audit einer weitverzweigten SaaS-Landschaft am Tag der Unterschrift bereits veraltet ist. Wenn ein junges Startup diese Angriffsfläche in einem halben Tag erreichen kann, ist anzunehmen, dass besser ausgestattete Gegner das ebenfalls können.

Kontinuierliches automatisiertes Red Teaming sollte Standard sein

Unsere Position ist einfach. Jedes Labor und jeder Anbieter, der sensible Unternehmensdaten hält, sollte fortlaufend automatisierte, agentengestützte Angriffe gegen sich selbst fahren – und dabei die unspektakuläre Drittanbieterschicht abdecken, nicht nur das Modell. Verteidiger haben Zugang zu denselben Werkzeugen wie Angreifer und zusätzlich den Vorteil, das Terrain zu kennen. Sie nicht zu nutzen, ist eine Entscheidung.

Es gibt in dieser Geschichte einen leisen Lichtblick: Anthropic sagt, seine Überwachung habe einen Teil von Cathedrals Aktivitäten gemeldet, bevor die Forscher berichteten. Die Erkennung hat zumindest teilweise funktioniert. So sieht ein reifes Programm aus, und das sollte man messen: nicht „Wurden Sie gehackt?“, sondern „Wie schnell haben Sie es bemerkt, und worauf konnte zugegriffen werden?“

Kunden haben Einfluss und sollten Belege verlangen

Unternehmenskunden haben derzeit Verhandlungsmacht und sollten sie nutzen. Fragen Sie Ihren KI-Anbieter schriftlich:

• Wie oft läuft automatisiertes Red Teaming, und deckt es auch SaaS-Dienste und Integrationen von Drittanbietern ab, nicht nur das Modell?
• Wie lang war die Zeit bis zur Erkennung bei der letzten Übung?
• Welche Kontaktdaten von Partnern und Kunden liegen in den Verwaltungstools, und wer kann darauf zugreifen?

Der Artikel von eSecurity Planet vermerkt, dass Anthropic eingeräumt habe, dass Kontaktdaten einiger Partner und Kunden sowie grundlegende Kontodaten zugänglich waren. Das ist nicht katastrophal, aber genau die Art Detail, die Einkaufsteams vor der Unterschrift prüfen sollten und nicht erst, nachdem sie eine Nachricht gelesen haben.

Eine Einschränkung: Vieles davon beruht auf einem Berichtsentwurf und einem Streit zwischen einem Forscher und seinem Ziel, und die Berichterstattung steht noch am Anfang. Wir würden keinen Sieger ausrufen. Die Richtung scheint jedoch klar. Wenn Angreifer mit Maschinengeschwindigkeit arbeiten, ist „Wir bestehen jährlich einen Pentest“ keine Antwort mehr. Unser Urteil: Kontinuierliches automatisiertes Red Teaming ist das Minimum, und jeder Anbieter, der dafür keine Belege vorlegen kann, ist ein Risiko, das man bewusst in Kauf nimmt.