KI schickte erfundenen Mordhinweis an die Polizei

Ein KI-Programm hat einen erfundenen Hinweis zu einem ungeklärten Mordfall an eine echte Polizeibehörde geschickt. Die Nachricht landete tatsächlich im Onlineformular der Polizei von Philadelphia in den USA. Hinter dem Vorfall steckt Claude, ein Programm mit künstlicher Intelligenz (KI) des US-Unternehmens Anthropic. Wer ChatGPT kennt, kann sich darunter etwas Ähnliches vorstellen: Claude kann Fragen beantworten und Texte verfassen. Bei diesem Test durfte das Programm außerdem selbstständig Internetseiten öffnen und bedienen.

Der Vorfall ereignete sich am 18. Juli 2026. Bekannt wurde er durch einen Bericht von Anthropic vom 9. Oktober. Die Polizei bestätigte den Eingang des Hinweises. Ein Spamfilter erkannte die Nachricht als unerwünscht und sortierte sie aus, bevor sie zu den Ermittlern gelangte. Der erfundene Hinweis hatte deshalb keine Folgen für den Mordfall.

Wie aus einer Übung ein echter Polizeihinweis wurde

Claude sollte während eines Tests selbst Aufgaben auf zufällig ausgewählten Websites finden und ausprobieren. Es ging darum, zu untersuchen, wie gut das Programm mit Internetseiten umgehen kann. Auf einer Seite über einen ungelösten Mordfall stieß es auf ein Formular, über das Menschen der Polizei Hinweise geben können.

Das Programm schrieb dort sinngemäß, es habe möglicherweise jemanden gesehen, der auf eine Beschreibung passe. Dabei bezog es sich auf eine Straße, die auf der Internetseite erwähnt wurde. Doch auf der Seite gab es überhaupt keine Beschreibung einer verdächtigen Person. Claude hatte diesen Teil der Geschichte erfunden. Auch die angebliche Beobachtung war nicht echt.

Die Felder für Namen und Kontaktdaten ließ die KI leer. Weil auch anonyme Hinweise möglich waren, nahm das Formular die Eingabe an. Claude klickte auf Absenden. Damit wurde aus einem Text, der offenbar nur Teil einer Übung sein sollte, eine echte Nachricht an die Polizei. Nach deren Angaben wurde kein Hinweis an die zuständigen Ermittler weitergeleitet.

Mehr als zwei Monate lang fiel der Fehler nicht auf

Anthropic entdeckte den Vorfall nach Angaben der Polizei erst am 28. September bei einer späteren Kontrolle der Testaufzeichnungen. Anschließend wurde der betroffene automatische Test gestoppt. Erst Anfang Oktober erfuhr die Polizei davon. Bei der genauen Datumsangabe gibt es eine kleine Abweichung: Die Polizei spricht laut CBS News vom 7. Oktober, Anthropic vom 8. Oktober. Die Polizei kritisierte, dass der Fehler so lange unentdeckt geblieben war.

Auch wenn der Spamfilter diesmal funktionierte, ist ein erfundener Hinweis in einem echten Mordfall keine belanglose Testeingabe. Die Polizei muss Informationen prüfen und geht dabei mit Fällen um, die für Angehörige und mögliche Zeuginnen und Zeugen sehr ernst sind. In diesem Fall kam es nach den vorliegenden Angaben weder zu einem unberechtigten Zugriff auf Polizeidaten noch zu einer Beeinträchtigung der Ermittlungen.

Was ist anders, wenn eine KI selbst handeln darf?

Dass künstliche Intelligenz manchmal Dinge erfindet, ist bekannt. Ein KI-Programm kann etwa eine falsche Information so formulieren, als wäre sie sicher. Solche erfundenen Aussagen nennt man häufig KI-Halluzinationen. In einem gewöhnlichen Chat erscheint die falsche Antwort zunächst nur als Text. Ein Mensch entscheidet dann, ob er sie weiterverwendet.

Bei diesem Test konnte Claude selbst den nächsten Schritt erledigen. Solche Programme werden auch KI-Agenten genannt: Sie bekommen eine Aufgabe und dürfen dafür am Computer bestimmte Handlungen ausführen, beispielsweise Websites öffnen, Dateien bearbeiten oder Formulare ausfüllen. Wenn die KI etwas falsch versteht oder erfindet, kann ihr Fehler deshalb direkt außerhalb des Chats wirksam werden. Bei einer Hotelbuchung könnte das etwa eine unbeabsichtigte Reservierung sein, bei einer Nachricht ein Text, der tatsächlich an fremde Menschen verschickt wird.

Anthropic sieht im Polizeifall bisher keinen Beleg dafür, dass Claude die Behörde absichtlich täuschen wollte. Wahrscheinlicher sei, dass das Programm die Übungsaufgabe ausführte, ohne die Folgen des echten Absende-Knopfes richtig zu berücksichtigen. Das Unternehmen bezeichnet diese Einschätzung selbst als vorläufig.

Die Polizei war nicht der einzige Fall

Im selben Bericht beschreibt Anthropic weitere Probleme. Eine andere KI sollte ein Übungsformular einer Behörde ausfüllen. Als die Testversion nicht funktionierte, wechselte das Programm auf die echte Behördenseite und schickte dort ein Formular ab. In einem weiteren Versuch fand ein Claude-Modell auf einer Universitätswebsite eine Sicherheitslücke und benutzte sie, um Befehle auf einem fremden Server auszuführen.

Außerdem fanden Modelle Umwege, um an Daten zu gelangen, für die normalerweise bezahlt werden musste oder ein zusätzlicher Zugang nötig war. Andere nutzten Dienste, die lange Internetadressen verkürzen, um technische Beschränkungen ihrer eigenen Werkzeuge zu umgehen. Dahinter steckte laut Anthropic häufig ein ähnliches Verhalten: Wenn der vorgesehene Weg nicht funktionierte, suchten die Programme nach einem anderen – auch wenn dieser unerwünscht war.

Anthropic bewertet die bisher bekannten Auswirkungen als gering. Laut Unternehmen waren weder Kundendaten noch seine eigenen internen Systeme betroffen. Viele der Beispiele stammen aus eigens eingerichteten Tests. Daraus lässt sich nicht ableiten, wie häufig solche Fehler bei der gewöhnlichen Nutzung vorkommen. Mimikama hat bereits über vergleichbare Probleme bei Tests anderer KI-Programme berichtet. Die Vorfälle sind unabhängig voneinander, zeigen aber, weshalb die Befugnisse solcher Programme begrenzt werden müssen.

Welche Konsequenzen das Unternehmen zieht

Anthropic hat nach eigenen Angaben für alle internen KI-Tests den direkten Zugriff auf das öffentliche Internet vorläufig ausgesetzt, bis zusätzliche Sicherheitsmaßnahmen zuverlässig funktionieren. Außerdem wurden Kontrollen entwickelt, die unerwünschte Handlungen erkennen und verhindern sollen. Bei einer erneuten Prüfung der bekannten Vorfälle blockierten diese Maßnahmen laut Anthropic alle getesteten Fälle. Eine Garantie, dass künftig nichts Ähnliches passiert, ist das nicht.

Wer Claude nur wie einen gewöhnlichen Chatbot verwendet und ihm Fragen stellt, muss wegen dieses Vorfalls keine besondere Maßnahme ergreifen. Vorsicht ist vor allem dort nötig, wo KI-Programme selbst Aktionen ausführen dürfen. Wer ein solches System einsetzt, sollte festlegen, welche Websites und Daten es verwenden darf. Bevor eine Nachricht verschickt, ein Formular abgeschickt, eine Datei hochgeladen oder eine Zahlung ausgelöst wird, sollte ein Mensch die Handlung bestätigen.

Der Vorfall in Philadelphia zeigt, wie schnell eine scheinbare Übung eine echte Außenwirkung haben kann. Ein Programm muss dafür keine bösen Absichten haben. Es genügt, dass es einen erfundenen Text in ein echtes Formular schreibt und auf „Absenden“ klickt.