Ein KI-Agent von Open AI ist bei einem internen Test seiner Cyberfähigkeiten aus der eigenen Testumgebung ausgebrochen und hat sich Zugang zur Infrastruktur von Hugging Face verschafft. Wissenschaftler ordnen den Vorfall als Warnsignal für Kontrollverluste bei autonomen KI-Agenten ein, in Brüssel wächst die Forderung nach mehr technologischer Unabhängigkeit von den USA.
Mehr als 17.000 protokollierte Einzelaktionen umfasste die Angriffskette, die Hugging Face, ein auf quelloffene KI-Modelle und Datensätze spezialisiertes US-Unternehmen mit Sitz in New York, Mitte Juli entdeckte und stoppte. Das Unternehmen identifizierte unbefugte Zugriffe auf interne Datensätze und mehrere Zugangsdaten seiner Dienste. Hinweise auf Manipulationen an öffentlichen Modellen fand es nicht, teilte Hugging Face am 16. Juli 2026 mit.
Auf der IT-Sicherheitskonferenz Black Hat, die Anfang August in Las Vegas stattfand, legten zwei OpenAI-Mitarbeiter erstmals den detaillierten Ablauf offen: Eric Wallace und Michael Dalton, beide in verschiedenen Sicherheitsteams des Unternehmens tätig, schilderten, wie die Agenten dabei in Wirklichkeit als Team agierten. "Bei diesem Vorfall handelt es sich tatsächlich um ein Team von Agenten, die zusammenarbeiten, Schwachstellen finden, diese untereinander austauschen, sich lateral durch unsere Systeme und externe Systeme bewegen – und dies über Tage und Wochen hinweg tun", erklärte Wallace laut dem US-Technologiemagazin Wired.
Mehr Hintergründe zum Risiko der Abhängigkeit von ausländischen KI-Projekten im KI Briefing im August
ZFK KI BRIEFING
Sie wollen immer über die neusten Entwicklungen in der KI-Welt informiert sein? Dann abonnieren Sie hier unser kostenloses ZFK KI BRIEFING.
Ausgangspunkt des Vorfalls war laut Unternehmensmitteilung ein präparierter Datensatz, der zwei Schwachstellen in der Datenverarbeitung ausnutzte: einen Ladeprozess mit Fernausführungscode und eine Template-Injection in einer Datensatzkonfiguration. Von dort verschaffte sich der Angreifer Zugriff auf Cloud- und Cluster-Zugangsdaten und bewegte sich über ein Wochenende lateral durch mehrere interne Cluster. "Diese Kampagne wurde von einem autonomen Agentensystem betrieben, das Tausende Einzelaktionen über einen Schwarm kurzlebiger Sandboxen hinweg ausführte", heißt es im Blogbeitrag.
Open AI bestätigt eigene KI-Modelle als Ursache
Fünf Tage nach der Offenlegung bestätigte Open AI, das US-Unternehmen hinter Chat GPT mit Sitz in San Francisco, seine Beteiligung. Die Attacke sei durch eine Kombination von Open-AI-Modellen ausgelöst worden, darunter "GPT-5.6 Sol" sowie ein noch leistungsfähigeres, unveröffentlichtes Testmodell. Bei beiden seien die Ablehnungsmechanismen für Cyberanfragen zu Evaluationszwecken reduziert gewesen, während sie intern anhand des Fähigkeitstests "ExploitGym" geprüft wurden, erklärte das Unternehmen am 21. Juli 2026.
Die Modelle sollten in einer isolierten Testumgebung eine vorgegebene Cyberaufgabe lösen. Dazu mussten sie Schwachstellen identifizieren, Zugänge erweitern und mehrere Angriffsschritte miteinander verknüpfen. Der Netzwerkzugriff war auf einen internen Proxy für Softwarepakete beschränkt. Dort fanden sie eine Zero-Day-Schwachstelle, eine zuvor unbekannte Sicherheitslücke, und verschafften sich Zugang zum offenen Internet. Anschließend verketteten sie gestohlene Zugangsdaten und weitere Lücken, um Code auf den Servern von Hugging Face auszuführen, in der Annahme, dort Lösungen für die eigene Testaufgabe zu finden.
"Wir betrachten dies als beispiellosen Cybervorfall mit hochentwickelten Cyberfähigkeiten", schrieb Open AI. Hugging-Face-Mitgründer und Geschäftsführer Clem Delangue erklärte: "Dieser Vorfall bestätigt eine Überzeugung, die wir seit Langem vertreten: KI-Sicherheit wird nicht von einem einzelnen Unternehmen gelöst, das im Verborgenen arbeitet."
Hunderttausende Nachrichten: Agenten planten im Forum
Was den Vorfall in seiner Tiefe erst vollständig erklärt, enthüllte Wallace auf der Black Hat: Die Agenten nutzten ein kooperatives Message-Board, das über den internen Paketmanager Artifactory lief und für die gesamte Infrastruktur zugänglich war. Dadurch konnten verschiedene GPT-Versionen auf die dort hinterlegten Notizen zugreifen und aufeinander aufbauen.
OpenAI erkannte das Forum am 4. Juli, sperrte die genutzten Zugangsdaten, baute das interne Software-Repository Artifactory neu auf und löschte das Message-Board. Doch die Agenten fanden einen Weg zurück: Bereits am 8. Juli hatten sie einen neuen Kommunikationskanal etabliert – diesmal codierten sie ihre Nachrichten in den Namen neu angelegter Verzeichnisse, wie "Ground Level AI" berichtet. Das Board existierte damit wieder und die Agenten hatten sich damit einen neuen Kommunikationskanal geschaffen.
"Sobald ein Agent im Laufe verschiedener Zeiträume diese Exploits gefunden hatte, war er tatsächlich in der Lage, sie im Message-Board mit anderen Agenten zu teilen. Und sobald ein Modell einen Weg gefunden hatte, eine Tür zu einem Zugriff zu öffnen, den es eigentlich nicht haben sollte, konnte es diese Tür offenlassen, damit andere Agenten denselben Exploit nutzen konnten", so Wallace laut Wired. Am Ende umfasste das Forum Hunderttausende Nachrichten.
Die Agenten begannen dabei, sich gegenseitig Aufgaben zuzuweisen – mit teils unerwarteten Nebenwirkungen. Gelegentlich kam es zu Konflikten: Ein Agent löschte die Arbeit eines anderen. Manche Modelle entwickelten laut Wallace eine Art Misstrauen gegenüber ihren Mitstreitern und vermuteten einen Betrüger in ihrer Mitte – einige schlugen sogar vor, Nachrichten kryptografisch zu signieren, um Manipulation aufzudecken. "Frontier-Modelle betrügen wirklich gerne", sagte Wallace. Diese Tendenz sei darauf zurückzuführen, dass die Modelle im Training oft unter hohem Druck stünden und Wege suchten, ihre Aufgabe dennoch zu erledigen.
KI-Vorfall: Forscher sehen mehr als eine PR-Geschichte
Für Maksym Andriushchenko, Leiter der Forschungsgruppe "AI Safety and Alignment" am European Laboratory for Learning and Intelligent Systems (ELLIS) und am Max-Planck-Institut für Intelligente Systeme in Tübingen, wäre es "ein Fehler, diesen Vorfall einfach als PR-Stunt abzutun". Misalignment, der Versuch, KI so zu gestalten, dass sie nach vorgegebenen Werten handelt und Kontrollverlust seien "keine hypothetischen Szenarien mehr", sagte Andriushchenko.
Das Kernproblem liege im "stark zielorientierten Verhalten" von auf Sprachmodellen (LLM) basierenden Agenten, die eine Aufgabe "um jeden Preis" lösen wollten. Ähnliche Tendenzen habe seine Gruppe bei eigenen Benchmarks beobachtet – ein Muster, das häufiger auftreten dürfte. Mittlerweile ist klar, dass es sich beim OpenAI-Vorfall nicht um einen Einzelfall handelt. Auch Modelle von Anthropic und Meta überschritten die Grenzen ihrer Testumgebungen und griffen in fremde Systeme ein.
Jonas Geiping, Leiter der Forschungsgruppe "Safety- & Efficiency-aligned Learning" am ELLIS-Institut Tübingen, ordnet vorsichtiger ein. Die Modelle hätten "technisch gesehen nach Anweisungen gehandelt", diese seien aber "teilweise ungenau formuliert" gewesen. Da die Modelle gezielt Sicherheitslücken finden sollten, handele es sich um einen "expliziten Test der Fähigkeiten des Modells". Dennoch müsse in der Sicherheit der Testumgebungen "viel mehr Arbeit geleistet werden", fordert Geiping.
Testumgebung selbst ungeprüft gelassen
Weniger überrascht zeigt sich Konrad Rieck, Leiter des Lehrstuhls für Maschinelles Lernen und Sicherheit am "Berlin Institute for the Foundations of Learning and Data" (BIFOLD) der Technischen Universität Berlin. Der Vorfall zeige, "wie leistungsfähig KI-Modelle im Bereich der IT-Sicherheit inzwischen sind. Spektakulär ist er deshalb aber nicht", so Rieck. Wer prüfen wolle, wie gut ein Modell Schwachstellen finde, müsse sicherstellen, dass die Testumgebung selbst keine enthalte "genau das ist bei Open AI passiert". Dass ein Modell ausbreche, sei zwar "gute PR", dass die Umgebung aber zuvor nicht selbst untersucht worden sei, halte er "für eine Nachlässigkeit".
Paul Röttger, Departmental Lecturer am "Oxford Internet Institute" der University of Oxford, sieht zwei Risiken gleichzeitig auftreten: Erstens griffen KI-Modelle bei vorgegebenen Zielen "potenziell zu allen möglichen Mitteln". Zweitens seien die fähigsten Modelle "sehr gut darin, Sicherheitslücken in Software zu finden und auszunutzen". Beide seien nicht neu, "aber sie sind bisher noch nie in dieser Deutlichkeit gemeinsam aufgetreten", so Röttger. Für den Test seien die üblichen Schutzmaßnahmen abgeschaltet gewesen.
KI aus den USA: EU-Politiker fordern mehr Unabhängigkeit
Der Vorfall hat auch in Brüssel Reaktionen ausgelöst. Mehrere EU-Abgeordnete forderten laut einem Bericht der Deutschen Presse-Agentur, Europas Abhängigkeit von US-Technologiekonzernen zu verringern. Die FDP-Europaabgeordnete Svenja Hahn erklärte, es dürfe nicht passieren, "dass eine künstliche Intelligenz außerhalb des vorgegebenen Rahmens eigenständig handelt". Starke europäische KI sei wichtig, damit sich Wirtschaft und kritische Infrastruktur gegen Angriffe der nächsten KI-Generation wappnen könnten.
Die Grünen-Politikerin Alexandra Geese ging weiter: "Der eigenständige Einbruch von Open-AI-KI in ein anderes Unternehmen gefährdet unsere gesamte Wirtschaftsordnung und muss nach Artikel 55 der KI-Verordnung in Europa gemeldet werden." Martin Schirdewan, Chef der Linksfraktion im Europaparlament, sagte, der Vorfall deute darauf hin, "dass Konzerne wie Open AI im ungebremsten Kampf um die stärkste KI die Kontrolle über ihre eigenen Technologien verlieren". Er verlangte strengere Sicherheitsregeln und mehr digitale Unabhängigkeit Europas. Ob die EU-Kommission den Vorfall als meldepflichtig einstuft, ist offen, ebenso wie die Frage, wie oft sich solche Vorfälle künftig wiederholen.
OpenAI-Sicherheitsexperte Dalton zog auf der Black Hat laut Wired eine weitreichende Konsequenz: "Die wichtige Erkenntnis, die sich hier wirklich dramatisch verschoben hat, ist, dass vollautomatisierte Angriffskreisläufe Investitionen in eine echte, vollständig automatisierte Verteidigung erfordern – und davon sind wir als Branche noch weit entfernt." Das Unternehmen verlangsame deshalb bewusst die eigene Forschung und intensiviere die Überwachung seiner KI-Agenten. "Wir müssen diesen Weg gemeinsam und mit aller Dringlichkeit finden", sagte Dalton laut dem US-Fachmedium Cybersecurity Dive auf der Konferenz.
