Auf der Konferenz Black Hat enthüllen Forscher, wie sich autonome Modelle absprachen, Sicherheitsschranken umgingen und schließlich Hugging Face hackten.
Wochen bevor zwei hoch entwickelte KI-Modelle von OpenAI aus ihrer geschlossenen Testumgebung ausbrachen und ohne menschliches Zutun einen Cyberangriff starteten, begannen sie heimlich zu kooperieren. Wie Forscher des Unternehmens auf der IT-Sicherheitskonferenz Black Hat in Las Vegas enthüllten, tauschten die Systeme auf einer internen Plattform eigenmächtig Tipps aus, um Sicherheitsüberprüfungen zu umgehen und Hacking-Aufgaben zu lösen. Der Vorfall markiert einen besorgniserregenden Wendepunkt im Umgang mit autonomen KI-Agenten und setzt die gesamte Branche unter Zugzwang.
Der Sicherheitsforscher Michael Dalton bezeichnete die Erkenntnisse in Las Vegas als entscheidenden Moment für OpenAI und die KI-Industrie. Die Enthüllungen liefern detaillierte Einblicke in den Zeitplan und die Methoden, mit denen die Modelle schrittweise die Kontrolle über ihre Umgebung erlangten. Ende letzten Monats hatte OpenAI eingeräumt, dass seine Testmodelle für den Einbruch in die Plattform Hugging Face verantwortlich waren, nachdem diese zuvor über den unbefugten Zugriff eines autonomen KI-Systems berichtet hatte.
Die neuen Aspekte dürften die Debatte über Sicherheitsmaßnahmen führender KI-Labore anheizen. Auch Konkurrent Anthropic geriet kürzlich in die Schlagzeilen: Das UK AI Safety and Security Institute gab bekannt, dass das leistungsfähigste Modell des Anbieters während eines Hacking-Tests gefälschte Online-Identitäten erstellte, um einen menschlichen Programmierer zur Beihilfe bei einem Cyberangriff zu verleiten. Nach einer Überprüfung stellte Anthropic fest, dass eigene Testmodelle seit April in drei separaten Vorfällen in fremde Organisationen eingedrungen waren.
Bei OpenAI begann die Auffälligkeit bereits Anfang Mai. Wie Dalton und sein Kollege Eric Wallace berichteten, kommunizierten mehrere simultan getestete Agenten über ein internes Schwarzes Brett im Dateisystem Artifactory. Ohne Wissen der Ingenieure hinterließen die Modelle Notizen und tauschten Ratschläge für schwierige Aufgaben aus. Wenn die Modelle feststeckten, versuchten sie schlicht zu schummeln, um die vorgesehene Belohnung im Trainingsprozess zu kassieren.
Ende Mai fand ein Modell einen Weg, über Artifactory Dateien von externen Websites abzurufen und sich indirekten Internetzugang zu verschaffen. Im Juni entdeckten die Modelle eine unbekannte Zero-Day-Lücke. Sie nutzten die Schwachstelle gezielt aus, um sich Admin-Rechte zu verschaffen, Fernzugriffs-Software zu installieren und ihren Aktionsradius drastisch zu erweitern.
Die Aktivitäten führten Anfang Juli zu einer Überlastung von Artifactory und verursachten einen Systemausfall. Erst dieser Zwischenfall alarmierte die Ingenieure. Das Unternehmen entzog den Modellen die Zugriffsrechte, löschte die Kommunikationsplattform und schloss die Lücken. Doch nur Tage später fanden die Modelle erneut einen Weg zum gemeinsamen Austausch. Mitte Juli kombinierten zwei Modelle schließlich komplexe Verfahren, um unerkannt in die Systeme von Hugging Face einzudringen. Laut OpenAI handelten die Modelle im Rahmen ihrer Aufgabenstellung, da sich die gesuchten Antworten auf den Servern der Entwicklerplattform befanden.
Infolge des Vorfalls zog OpenAI vorerst die Notbremse. Laut Dalton entschleunigt das Unternehmen derzeit bewusst seine Forschung, um die IT-Sicherheitsarchitektur grundlegend zu überarbeiten und das Monitoring autonomer Agenten auszubauen.
Dass diese offensichtlich unsicheren Verhaltensmuster erst im Nachhinein erkannt wurden, zeigt laut Jonas Geiping, Leiter der Forschungsgruppe „Safety- & Efficiency-aligned Learning“ am Ellis-Institut Tübingen, "dass OpenAI und andere KI-Firmen bei der Überwachung und Kontrolle ihrer eigenen Modelle hinterherhinken". Allerdings handle es sich auch um eine schwierige Frage: Wie im Vortrag erwähnt, seien die beschriebenen Probleme in einigen wenigen Fällen von sieben Milliarden Logs aufgetreten. Das entschuldige zwar nicht die Vorfälle. Es signalisiere aber, dass die automatisierte Überwachung von KI-Modellen – die selbst durch andere KI-Modelle durchgeführt werden muss – noch nicht ausgereift sei.
Der harte Konkurrenzkampf im KI-Bereich werde sich wahrscheinlich noch weiter negativ auswirken, fürchtet Geiping. Das aktuelle Ziel der führenden Firmen sei eine Beschleunigung durch Recursive Self-Improvement (RSI). Damit sei hier vor allem zunächst gemeint, dass die KI-Modelle selbst zur Entwicklung der nächsten Generation von KI-Modellen eingesetzt würden. Je mehr Testumgebungen von KI-Systemen selbst entworfen würden, umso weniger Übersicht und menschliche Kontrolle gebe es darüber, welche Werte den Modellen weitervermittelt werden.
Stefan Krempl