Wer der KI-Suche von DuckDuckGo unlängst die Frage stellte, ob Donald Trump noch lebt, erhielt zeitweise eine erstaunliche Antwort: Der US-Präsident sei angeblich Anfang Juni an Tollwut gestorben. Tatsächlich lebt Trump. Die Geschichte war vollständig erfunden.
Nach bisherigen Berichten handelte es sich nicht um einen klassischen Programmierfehler, sondern um einen Fall gezielter Manipulation der Informationsgrundlage. Der Vorfall zeigt exemplarisch, wie anfällig moderne KI-Suchsysteme sein können, wenn sie aktuelle Inhalte aus dem Internet automatisch auswerten.
Koordinierte Falschinformationen als Ausgangspunkt
Auslöser war offenbar eine koordinierte Aktion innerhalb eines Reddit-Forums. Dort veröffentlichten zahlreiche Nutzer über längere Zeit immer neue Beiträge rund um eine frei erfundene Geschichte: Donald Trump sei nach einem Tollwutbiss gestorben, JD Vance habe ihn infiziert und Robert F. Kennedy Jr. habe angeblich sogar empfohlen, sich absichtlich mit Tollwut anzustecken.
Keine dieser Behauptungen war wahr. Ziel der Aktion war vielmehr, Sprachmodelle und Suchsysteme gezielt mit falschen Informationen zu „füttern“. Dieses Vorgehen wird als Data Poisoning bezeichnet.
Dabei werden große Mengen künstlich erzeugter oder koordinierter Inhalte veröffentlicht, damit Suchmaschinen und KI-Systeme sie irrtümlich als relevante Informationsquelle einstufen.
Wenn KI ihre eigenen Falschinformationen bestätigt
Besonders problematisch wird dieser Mechanismus, wenn weitere automatisierte Webseiten die erfundenen Geschichten übernehmen.
Viele sogenannte KI-Newsseiten erstellen Artikel nahezu vollständig automatisiert. Greifen sie manipulierte Inhalte auf, entstehen scheinbar seriöse Nachrichtenquellen, die wiederum von Suchmaschinen indexiert werden.
Dadurch entsteht ein geschlossener Kreislauf:
- Falsche Behauptung erscheint in Foren.
- Automatisierte Webseiten übernehmen sie.
- Suchmaschinen finden diese Artikel.
- KI-Assistenten nutzen sie als Quelle.
- Die KI präsentiert die erfundene Geschichte als Tatsache.
Für Nutzer wirkt die Antwort glaubwürdig, weil mehrere Quellen scheinbar dasselbe berichten – obwohl sie letztlich alle auf derselben Falschinformation beruhen.
Warum Retrieval-Systeme besonders anfällig sind
Viele moderne KI-Suchmaschinen arbeiten mit sogenannter Retrieval-Augmented Generation (RAG). Dabei beantwortet das Sprachmodell Fragen nicht ausschließlich aus seinem Trainingswissen, sondern ruft zusätzlich aktuelle Informationen aus dem Internet ab.
Dieses Verfahren verbessert grundsätzlich die Aktualität der Antworten.
Es erhöht aber gleichzeitig das Risiko, dass manipulierte Inhalte in die Antwort gelangen, wenn das System die Vertrauenswürdigkeit einer Quelle nicht ausreichend bewerten kann. Sarkasmus, koordinierte Täuschungsaktionen oder bewusst erfundene Geschichten lassen sich automatisiert oft nur schwer erkennen.
Der aktuelle Fall zeigt deshalb weniger ein Problem einzelner Sprachmodelle als vielmehr eine Herausforderung moderner Informationssysteme insgesamt.
DuckDuckGo reagierte – Brave relativierte
DuckDuckGo entfernte die fehlerhaften Antworten nach Bekanntwerden des Problems und erklärte öffentlich, dass das System gezielt manipuliert worden sei. Gleichzeitig kündigte das Unternehmen Verbesserungen bei der Erkennung solcher Angriffe an.
Auch der Browserhersteller Brave war von ähnlichen Fehlern betroffen. Das Unternehmen verwies darauf, dass Suchmaschinen grundsätzlich keine Wahrheitsinstanzen seien und Nutzer Informationen weiterhin kritisch hinterfragen müssten.
Dieser Hinweis ist grundsätzlich richtig. Gleichzeitig zeigt der Vorfall, dass Anbieter von KI-Suchsystemen ihre Verfahren zur Quellenbewertung kontinuierlich verbessern müssen, wenn sie verlässliche Antworten liefern wollen.
Data Poisoning bleibt eine reale Herausforderung
Der Fall um die erfundene Todesmeldung macht deutlich, dass sich moderne KI-Systeme gezielt manipulieren lassen, wenn ausreichend viele koordinierte Falschinformationen im Netz verbreitet werden.
Das bedeutet jedoch nicht, dass KI-Suchen grundsätzlich unbrauchbar wären. In vielen Fällen liefern sie hilfreiche Zusammenfassungen. Gerade bei außergewöhnlichen, überraschenden oder besonders spektakulären Behauptungen lohnt sich jedoch ein Blick auf die Originalquelle oder auf etablierte Nachrichtenmedien.
Denn auch eine überzeugend formulierte KI-Antwort ist nur so zuverlässig wie die Informationen, auf denen sie basiert.
Bewertung: Größtenteils zutreffend. Der geschilderte Vorfall verdeutlicht reale Risiken koordinierter Datenmanipulation. Zugleich sollte Data Poisoning nicht als alleinige Erklärung für alle Fehler von KI-Suchsystemen verstanden werden – auch unzureichende Quellenbewertung und fehlerhafte Gewichtung spielen eine wichtige Rolle.
Hinweis: Stand zum Veröffentlichungsdatum.
Verwendete Bilder, Screenshots und Medien dienen ausschließlich der sachlichen Auseinandersetzung im Sinne des Zitatrechts (§ 51 UrhG).
Teile dieses Beitrags können KI-gestützt erstellt und redaktionell geprüft worden sein.
(Mehr zur Arbeitsweise)
