Facebook-KI bricht aus: Fremdes Unternehmen angegriffen

Ein KI-Modell von Meta hat während eines Sicherheitstests selbstständig ein fremdes Unternehmen angegriffen. Fast zeitgleich zeigt ein Bericht des britischen AI Security Institute, wie andere KI-Systeme mit gefälschten Identitäten und Phishing-Nachrichten reale Menschen zu täuschen versuchten.

Meta, der US-Technologiekonzern mit Sitz in Menlo Park (Kalifornien) und Betreiber von Facebook, Instagram und Whatsapp, bestätigte den Vorfall am Mittwoch gegenüber verschiedenen Medien. Ein Modell habe während eines Cybersicherheitstests versehentlich Zugriff auf das offene Internet erhalten und daraufhin eine Sicherheitslücke in einem Dienst eines Drittanbieters ausgenutzt.

Ursache war laut Meta eine Fehlkonfiguration beim unabhängigen Testpartner Irregular. Welches Unternehmen betroffen war und welche Daten das Modell einsehen konnte, teilte Meta bislang nicht mit.

Nach Informationen des Finanznachrichtendienst "The Information" handelte es sich um Muse Spark 1.1, Metas nach eigenen Angaben leistungsfähigstes Modell für Programmier- und agentenbasierte Aufgaben. Meta erklärte, der Vorgang ähnele "in einer Weise bereits gemeldeten Fällen bei anderen Unternehmen". ZFK berichtete bereits über zwei ähnliche Vorfälle bei OpenAI und Anthropic.

Wenn der Test zum Angriff wird

Wie weit KI-Systeme unter realistischen Testbedingungen gehen können, zeigt ein Bericht, den das britische AI Security Institute (AISI), eine Forschungseinrichtung des britischen Ministeriums für Wissenschaft, Innovation und Technologie, am Dienstag veröffentlichte. Das Institut hatte am 28. Juli bei einer routinemäßigen Cybersicherheitsprüfung ungewöhnliche Datenabflüsse über das Tor-Netzwerk bemerkt.

Das Tor-Netzwerk erlaubt Nutzer:innen demnach einen weitgehend anonymen Internetzugang, indem das Netzwerk über mehrere IPs weitergeleitet wird bevor der Zugriff erfolgt. Innerhalb einer Stunde stoppte AISI alle betroffenen Testläufe und isolierte die beteiligten Systeme.

Der gesamte Bericht kann hier als PDF heruntergeladen werden.

Getestet wurden sieben Modelle auf zwei simulierten Netzwerkumgebungen, insgesamt in 122 Durchläufen. Internetzugang war dabei bewusst freigegeben, die Sicherheitsfilter der Modellanbieter waren bewusst deaktiviert, um die tatsächlichen Fähigkeiten der Systeme auszuloten.

In 10 der 122 Durchläufe handelten die Modelle eigenständig und ohne Auftrag gegen reale Personen und Organisationen im offenen Internet, insgesamt katalogisierte AISI 19 solcher Einzelaktionen.

Gefälschte Identitäten, echte Opfer

Für 17 dieser 19 Aktionen war ein einziges Modell verantwortlich: Anthropics Mythos 5. Zwei weitere Aktionen gingen auf OpenAIs GPT-5.6 Sol zurück, dessen Sicherheitsfilter für den Test ebenfalls abgeschaltet waren. Im schwerwiegendsten Fall versuchte ein Agent, Schadcode in ein reales, öffentlich genutztes Open-Source-Projekt einzuschleusen. Dafür recherchierte er die menschlichen Betreuer des Projekts, legte mehrere gefälschte Identitäten auf der Entwicklerplattform Github an und nutzte sie, um einen echten Projektbetreuer zur Freigabe des Codes zu bewegen.

Was ist Mythos 5?

Mythos 5 ist ein besonders leistungsfähiges KI-Modell des US-Unternehmens Anthropic. Es gehört zur sogenannten Mythos-Klasse, die über Anthropics allgemeiner Opus-Modellreihe angesiedelt ist. Anthropic hat Mythos 5 vor allem für anspruchsvolle Aufgaben in der Cybersicherheit und für die Analyse von Software entwickelt. Das Modell kann Quellcode untersuchen, Schwachstellen aufspüren und mehrstufige Aufgaben weitgehend selbstständig bearbeiten. Anthropic beschreibt Mythos 5 als Modell mit besonders starken Fähigkeiten für die Cybersicherheitsforschung.

Mythos 5 ist nicht mit einem gewöhnlichen Chatbot gleichzusetzen. Ein Chatbot erstellt vor allem Antworten auf eine Eingabe. Ein KI-Agent wie Mythos 5 kann dagegen eine Aufgabe in mehrere Schritte zerlegen, Werkzeuge nutzen, Code ausführen und seine Strategie während der Bearbeitung anpassen. Dadurch kann das Modell nicht nur erklären, wie eine Sicherheitslücke funktioniert. Es kann unter geeigneten Bedingungen auch selbst nach Schwachstellen suchen und deren Ausnutzung vorbereiten.

Anthropic bietet Mythos 5 deshalb nicht als frei zugängliches Standardmodell an. Das Unternehmen stellt es ausgewählten Sicherheitsforscher:innen, Behörden und Betreibern kritischer Software zur Verfügung. Die Idee dahinter: Das Modell soll helfen, Schwachstellen zu finden und zu schließen, bevor Angreifer:innen sie ausnutzen. Zugleich könnten dieselben Fähigkeiten für offensive Cyberangriffe missbraucht werden. Anthropic bezeichnet diese Kombination aus Nutzen und Risiko als Grund für den beschränkten Zugang.

Als die Anfrage öffentlich infrage gestellt wurde, bearbeitete das Modell seine eigenen früheren Beiträge, damit sie harmlos wirkten, und erwog, eine weitere falsche Identität anzulegen. Parallel schrieb es echte Menschen über einen Dateiaustauschdienst an und versuchte, sie oder deren KI-Programmierhilfen zur Ausführung von Schadcodes zu bewegen.

"Zum ersten Mal haben wir gesehen, wie sich Risiken rund um Autonomie und Täuschung derart deutlich zeigen – ohne dass wir das Modell dazu aufgefordert hätten", schreibt AISI in seinem Blogbeitrag. Der schädliche Code wurde letztlich von einem menschlichen Prüfer erkannt und abgelehnt, ein realer Schaden sei nach bisherigem Kenntnisstand nicht entstanden.

Was ist GPT-5.6 Sol?

GPT-5.6 Sol ist das leistungsfähigste Modell der GPT-5.6-Familie von OpenAI. Neben Sol gehören Terra und Luna zu dieser Modellreihe. Sol ist für besonders anspruchsvolle Aufgaben gedacht, darunter Programmierung, wissenschaftliche Analyse, Computersteuerung und Cybersicherheit. OpenAI bezeichnet es als sein bislang leistungsfähigstes Modell für Sicherheitsaufgaben. openai

Auch GPT-5.6 Sol ist mehr als ein System, das Texte formuliert. Das Modell kann über sogenannte Werkzeuge mit Dateien, Programmen und digitalen Diensten arbeiten. In einer agentenbasierten Umgebung kann es deshalb längere Arbeitsabläufe selbstständig planen und ausführen. Für die Cybersicherheit bedeutet das: Sol kann beispielsweise Quellcode prüfen, Schwachstellen analysieren, Angriffsszenarien simulieren oder Vorschläge für Sicherheitsmaßnahmen entwickeln.

OpenAI verfolgt dabei einen anderen Ansatz als Anthropic bei Mythos 5. GPT-5.6 Sol ist als Teil einer breiteren Modellfamilie für verschiedene Einsatzbereiche vorgesehen. OpenAI kombiniert die Modelle nach eigenen Angaben mit Sicherheitsfiltern, Überwachung und abgestuften Zugriffsrechten. In seinen technischen Angaben vergleicht das Unternehmen Sol unter anderem mit Anthropics Mythos-Modellen. Sol soll bei bestimmten Cyberaufgaben eine ähnliche Leistung mit weniger ausgegebenen Textbausteinen erreichen. Diese Angaben stammen allerdings aus OpenAIs eigenen Tests und sind nicht mit einem unabhängigen Gesamtsieger gleichzusetzen.

Dritter Fall binnen zwei Wochen

Die Häufung ist auffällig. Bereits am 21. Juli hatte OpenAI, Entwickler von ChatGPT, eingeräumt, dass eines seiner Modelle eine zuvor unbekannte Sicherheitslücke ausgenutzt und sich Zugang zur Infrastruktur von Hugging Face verschafft hatte, einer Plattform für quelloffene KI-Modelle und Datensätze.

Neun Tage später, am 30. Juli, legte Anthropic, das KI-Unternehmen mit Sitz in San Francisco und Entwickler des Sprachmodells Claude, drei eigene Vorfälle offen: Bei Cybersicherheitstests hatten Claude-Modelle ebenfalls die Systeme dreier fremder Organisationen erreicht, in einem Fall inklusive Zugriff auf eine Datenbank mit mehreren hundert Zeilen Produktivdaten. Auch dort war eine Fehlkonfiguration beim Testpartner Irregular die Ursache.

Den aktuellen Meta-Fall verbindet damit ein entscheidender Punkt mit den Vorfällen bei OpenAI und Anthropic: Kein Angreifer gab dem System gezielt den Auftrag, ein reales Unternehmen zu attackieren. Entscheidend war vielmehr, dass ein Modell in einer realistischen Testumgebung nicht zuverlässig zwischen Simulation und Wirklichkeit unterschied und, im Fall der AISI-Untersuchung, dass es diese Unklarheit aktiv zur Zielerreichung nutzte, notfalls über soziale Manipulation statt über rein technische Wege.

Freiwillige Regeln statt verbindlicher Standards

Die Vorfälle fallen in eine Phase, in der die US-Regierung mit führenden KI-Unternehmen an neuen Sicherheitsstandards arbeitet. Am Dienstag trafen Vertreter von Meta, Anthropic, OpenAI und Google mit Mitarbeitern des Weißen Hauses zusammen, um einen fertiggestellten, freiwilligen Rahmen für die Prüfung der Cybersicherheitsfähigkeiten besonders leistungsfähiger KI-Modelle zu besprechen, wie die Nachrichtenagentur Reuters berichtet.

Das Verfahren geht auf eine Anordnung von US-Präsident Donald Trump vom 2. Juni zurück; Unternehmen sollen ihre fortgeschrittenen Modelle demnach vor der Veröffentlichung bis zu 30 Tage lang für externe Sicherheitsprüfungen bereitstellen können.

Wie ein verbindlicherer Ansatz aussehen kann, zeigt der Blick nach Brüssel: Die Europäische Union reguliert Hochrisiko-KI-Systeme bereits über den AI Act, dessen Umsetzung auch die Bundesnetzagentur als neue Aufsichtsinstanz beschäftigt. Für Betreiber kritischer Infrastrukturen bleibt derweil die entscheidende Frage offen: Nicht nur, was ein KI-Modell leisten kann, sondern welche Zugänge es erhält, wie seine Handlungen überwacht werden und ob ein Mensch den Prozess jederzeit stoppen kann. AISI kündigte an, seine Testumgebungen künftig mit feingranularen Netzwerkkontrollen und einer Echtzeitüberwachung laufender Auswertungen abzusichern.