Der Pentagon-Vorfall ist kein KI-Versagen, sondern ein Versagen der Zugriffskontrolle

Wer hat die Daten tatsächlich preisgegeben: der KI-Agent oder die Person, die ihm die Schlüssel übergeben hat? Man kann den Pentagon-Vorfall leicht als Geschichte einer außer Kontrolle geratenen Maschine lesen, die sich in ein abgeschottetes Netz verirrt. Nach dem bisher Berichteten hat ein Mensch sie hineingeführt und ihr die Tür aufgehalten.

Was berichtet wurde

Laut Wired soll ein Accenture-Mitarbeiter eine gesicherte Produktionsumgebung mit seinem persönlichen Claude-Konto verbunden haben, damit ein KI-Agent Code schreiben und ausrollen konnte. Andere Medien wie das CDO Magazine schreiben, dadurch könnten Zugangsdaten und Netzwerkinformationen offengelegt worden sein. Wireds Darstellung stützt sich auf anonyme Quellen, und laut der Zusammenfassung auf aiweekly.co lief der Agent etwa zwei Monate im Netz des Verteidigungsministeriums, bevor ihn jemand entdeckte.

Das deutsche Medium Golem berichtet, dass offenbar Daten das System verlassen haben. Einige kleinere Seiten gehen weiter und sprechen von offengelegten Geheimdienstinformationen; diese Details würden wir mit Vorsicht behandeln, bis es belastbarere Belege gibt. Es bleibt ein Vorwurf, und der genaue Umfang der Offenlegung ist nicht geklärt.

Der Agent tat, was Agenten tun

Nehmen wir das belastendste Detail: Der Agent arbeitete mutmaßlich mit administrativen Zugriffsrechten. Ein Agent, der Code schreiben und ausrollen soll, braucht dafür Zugangsdaten. Er nutzte, was man ihm gab. Hier der „KI“ die Schuld zu geben, ist, als würde man einem Paketboten vorwerfen, ein Gebäude betreten zu haben, nachdem ihm jemand einen Generalschlüssel ausgehändigt hat.

Unserer Ansicht nach liegt das interessante Versagen beim Menschen, und es ist alt. Die Berichte verraten nicht, warum der Mitarbeiter so handelte, doch das Muster ist bekannt: Jemand greift zu einem Werkzeug, dem er vertraut, und verbindet es mit etwas, das es nie hätte berühren dürfen. Ersetzt man den Agenten durch ein privates Cloud-Speicherkonto oder ein Skript auf dem Laptop zu Hause, entsteht eine ähnliche Geschichte. Neu ist, dass das Werkzeug nun selbstständig, schnell und mit allen Rechten handelt, die man ihm gibt.

Deshalb ist das gefährlicher als die Schatten-IT, die wir kennen. Eine vergessene Tabelle liegt einfach herum. Ein Agent mit Deploy-Rechten arbeitet weiter – und tat das in diesem Fall mutmaßlich etwa zwei Monate lang.

Agenten brauchen eigene Identitäten, keine geliehenen Zugänge

Die praktische Lösung lautet nicht „Agenten verbieten“. Sie besteht darin, sie als das zu behandeln, was sie sind: eine neue Art von Akteur im Netzwerk. Aus unserer Sicht heißt das ein paar unspektakuläre Dinge:

• Eine eigene Identität. Ein Agent sollte nie unter dem Konto seines menschlichen Nutzers laufen und schon gar nicht als Administrator. Wenn etwas schiefgeht, sollten die Logs „Agent X hat das getan“ zeigen, nicht „Alice hat das getan“.
• Eng begrenzter Umfang. Lesezugriff auf ein einzelnes Repository ist eine vernünftige Anforderung. Administrativer Zugriff auf eine Produktionsumgebung ist kein Ausgangspunkt.
• Widerrufbar und kurzlebig. Zugangsdaten, die von selbst ablaufen und sich in einem Schritt sperren lassen, machen aus einem zweimonatigen Vorfall einen zweistündigen.
• Sichtbarkeit. Was uns im Gedächtnis bleibt, sind die zwei Monate. Laut den Berichten lief der Agent so lange in einer gesicherten Umgebung, bevor er entdeckt wurde. Das wirkt ebenso wie eine Überwachungslücke wie eine Berechtigungslücke.

Beachten Sie: Nichts davon betrifft das Modell. Es würde in gleicher Weise für jedes autonome Werkzeug gelten, von jedem Anbieter.

Bei Auftragnehmern sind die Regeln am dünnsten

Die zweite Lehre ist organisatorisch, und hier spekulieren wir darüber, wie solche Lücken typischerweise entstehen; wir beschreiben nicht, was in diesem Fall geschah. Ein Auftragnehmer sitzt zwischen den Richtlinien zweier Unternehmen, und jedes kann annehmen, das andere kümmere sich um das Problem. Der Arbeitgeber kann sagen, auf den Systemen des Kunden gälten die Regeln des Kunden, während der Kunde davon ausgehen kann, dass jeder mit Besucherausweis eingewiesen wurde. Kommt ein Auftragnehmer unter Termindruck hinzu, der ein privates KI-Abo hat, das die Arbeit erleichtert, ist die Versuchung offensichtlich.

Wir erwarten – und das ist eine Prognose –, dass der Einsatz von Agenten ausdrücklich in Auftragnehmerverträge geschrieben wird: welche Werkzeuge erlaubt sind, auf welchen Systemen, unter welchen Konten und mit welcher Protokollierung. Niemand sollte erst folgern müssen, dass ein privates KI-Konto nicht auf ein gesichertes Produktionssystem gehört. Regeln, die nur als gesunder Menschenverstand existieren, überstehen keinen Termindruck.

Bemerkenswert ist auch, dass Anthropic, dessen Werkzeug im Zentrum der Schlagzeilen steht, in den Berichten als das Produkt auftaucht, das der Mitarbeiter gewählt hat, nicht als die Partei, die die Zugriffsentscheidung getroffen hat. Diese Unterscheidung ist wichtig, auch wenn man den Anbieter berechtigterweise fragen kann, welche Schutzmaßnahmen er für den Einsatz in Unternehmen und Behörden bietet.

Unser Fazit

Wer ein Team leitet, sollte diese Woche nicht damit verbringen, darüber zu debattieren, ob Agenten sicher sind. Besser ist es herauszufinden, welche Agenten die eigenen Leute bereits nutzen, unter wessen Konten und mit welchen Berechtigungen. Danach sollten diese Agenten eigene, eng begrenzte und befristete Identitäten erhalten, und die Regeln für Auftragnehmer gehören schriftlich festgehalten. Die Pentagon-Episode ist, falls sich die Berichte bestätigen, die billige Warnung. Die nächste könnte es nicht sein.