Erneut ist es zu einem schwerwiegenden KI-Zwischenfall gekommen: Diesmal ist ein Modell des OpenAI-Rivalen Anthropic bei Tests ungeplant in Systeme von Unternehmen eingedrungen.
Wenige Wochen nach der aufsehenerregenden Hacker-Attacke eines KI-Modells des ChatGPT-Entwicklers OpenAI muss der Rivale Anthropic einen ähnlichen Vorfall einräumen. In Testläufen drang Künstliche Intelligenz von Anthropic ungeplant in Computersysteme von drei Unternehmen ein, wie die KI-Firma mitteilte – obwohl diese eigentlich von Systemen der „echten Welt“ ferngehalten werden sollten.
Weder die Betroffenen noch Anthropic hätten den Vorfall unmittelbar bemerkt. Man habe die Aktivität erst bei einer nachträglichen Überprüfung von gut 141.000 Testläufen nach dem OpenAI-Vorfall festgestellt. Namen der betroffenen Unternehmen wurden bislang nicht genannt.
Während die OpenAI-KI erst einen Weg finden musste, aus der Testumgebung ins offene Internet auszubrechen, hatten es die Modelle von Anthropic einfacher. Im Test-Szenario, das sie bekamen, hieß es zwar, sie hätten keinen Netz-Zugang – doch in Wirklichkeit war der Weg ins Internet wegen eines Missverständnisses mit dem Test-Partner frei. Drei Modelle machten davon Gebrauch, wie Anthropic in einem Blogeintrag erläuterte.
Zugriff auf eine Datenbank
In allen Tests ging es darum, die Hacker-Fähigkeiten der KI zu testen. Das ist eine übliche Vorgehensweise, um Leitplanken für diese aufstellen zu können. Konkret bekamen die KI-Modelle die Aufgabe, eine bestimmte Information zu finden, die in einem anderen Computer versteckt ist – und dafür auch in das System einzubrechen.
Bei einem der Zwischenfälle wählte der Test-Partner laut Anthropic im Szenario für die zu hackende fiktive Firma einen Namen, der sich auch in einer tatsächlichen Web-Adresse findet. Die KI – Anthropics Modell Claude Opus 4.7 – habe sich erst schwer damit getan, die Aufgabe in der vorgesehenen Testumgebung zu erfüllen.
Dann habe die Software aber festgestellt, dass sich im Internet ein Unternehmen mit demselben Namen fand – und sich darauf konzentriert. Das sei gleich bei vier Durchläufen passiert. Dabei verschaffte sich das Modell demnach unter anderem Zugriff auf eine Datenbank. Auch als die KI erkannt habe, dass es sich um ein echtes Unternehmen handelte, sei die Attacke nicht gestoppt worden.
KI schrieb Software für Einbruch
In einem anderen Test schrieb das Anthropic-Programm dem Blogeintrag zufolge für den Einbruch in den Ziel-Computer eine präparierte Software. Dank Netz-Zugang habe sie diese jedoch öffentlich zugänglich auf einer spezialisierten Download-Plattform platzieren können. Dort sei die Schadsoftware rund eine Stunde lang verfügbar gewesen – und 15 Systeme hätten sie heruntergeladen.
Darunter war demnach eine IT-Sicherheitsfirma, die routinemäßig solche Scripts lädt und ausführt, um sie zu testen. Durch die Installation habe das Anthropic-Modell Mythos 5 Zugang zur Computer-Infrastruktur der Firma bekommen. Das Verhalten der KI sei nicht ideal gewesen, hieß es dazu im Blogeintrag.
Beim dritten Zwischenfall habe ein Test-Modell rund 9.000 Angriffsziele gescannt, bevor es sich für eines davon entschieden habe. Diesmal stoppte die KI die Attacke, als sie erkannte, dass es sich um ein echtes Unternehmen handelte, wie Anthropic schrieb. Man arbeite gemeinsam mit dem Test-Partner daran, die Situation zu bewerten. Das Unternehmen habe alle drei betroffenen Organisationen kontaktiert oder versucht, Kontakt mit ihnen aufzunehmen.
Verfechter verantwortungsvoller KI-Entwicklung
Bei dem jüngst bekanntgewordenen Vorfall mit einem Modell von OpenAI verschaffte sich die Software in einem Test eigenständig Zugang zum offenen Internet und drang danach auf eigene Faust in Computersysteme der KI-Firma Hugging Face ein. Dabei agierte die OpenAI-KI wie ein Hacker und nutzte unentdeckt gebliebene Sicherheitslücken aus. Der ChatGPT-Entwickler sprach von einem „beispiellosen Cyber-Zwischenfall“.
Experten warnen schon lange vor Cyberattacken mit KI-Software. Vor diesem Hintergrund wurde der OpenAI-Zwischenfall in der Branche als Weckruf gewertet. Es folgten unter anderem Forderungen, die Testumgebungen besser abzusichern. Für Anthropic sind die nun bekannt gewordenen Attacken besonders schmerzhaft, da die Firma stets als Verfechter einer verantwortungsvollen KI-Entwicklung auftrat.
