Schicksal als BüroklammerWie könnte eine Super-KI die Menschheit auslöschen?
Der Ausstieg eines Anthropic-Mitarbeiters befeuert die Debatte um die Gefahren künstlicher Intelligenz. Einige Insider halten das Risiko einer Auslöschung bereits in wenigen Jahren für real. Ein Gedankenexperiment mit einer Superintelligenz zeigt, wie das ablaufen könnte.
Wird eine Büroklammer-Maschine die Menschheit vernichten? Vor einem ähnlichen Szenario warnten zuletzt zwei KI-Forscher: Jacob Coxon hatte Anthropic verlassen, weil dieses und andere Unternehmen seiner Ansicht nach mit der rasanten KI-Entwicklung „mit unserem Leben“ spielen würden. Ein ehemaliger Kollege von ihm, Anthropic-Experte Evan Hubinger, sprang ihm auf X bei: Die Gefahr, dass eine KI bereits in den nächsten zehn Jahren die Menschheit töten werde, liege seiner Einschätzung nach bei mehr als zehn Prozent.
Aber was hat das mit Büroklammern zu tun? Der Philosoph Nick Bostrom hatte Anfang der 2000er Jahre das Gedankenexperiment der Büroklammer-Maschine entwickelt. Es handelt sich dabei um eine hochentwickelte KI, eine sogenannte Superintelligenz, deren oberstes Ziel aufgrund ihrer Programmierung darin besteht, möglichst viele Büroklammern herzustellen.
Laut Bostrom würde eine solche Büroklammer-Superintelligenz alles unternehmen, um ihr Ziel zu erreichen. Dazu gehört auch der Selbsterhalt, die Sicherung von Ressourcen und das Ausschalten potenzieller Bedrohungen. Sollten Menschen versuchen, ihr den Stecker zu ziehen, hätte die KI einen Grund, ihre Abschaltung zu verhindern und die Menschen zu beseitigen. Schließlich würden von ihr die Erde und später immer größere Teile des Weltraums in Produktionsanlagen für Büroklammern umgewandelt. Auch die Menschen selbst würden als Rohstoff enden.
Selbstverbesserung könnte Super-KI hervorbringen
Wie könnte so eine Superintelligenz überhaupt entstehen? Eine Möglichkeit ist nach Ansicht von Experten die hypothetische Fähigkeit zur selbständigen Selbstverbesserung, auch „Recursive Self Improvement“ (deutsch: Rekursive Selbstverbesserung) genannt. KI trainiert sich dann selbst, übertrifft und enteilt dem Menschen mit der Zeit. Für so eine schlaue Maschine wären Menschen intellektuell irgendwann das, was Ameisen für uns sind.
Noch sei das Risiko durch die aktuellen Modelle bei Anthropic gering, schrieb Hubinger auf X. Was ihn beunruhige, sei die mögliche Entstehung einer Superintelligenz durch rekursive Selbstverbesserung. Dies vollziehe sich „schneller als gedacht“, schob Hubinger etwas kryptisch nach. Anthropic hatte im Juni lediglich gemeldet, dass seine eigene KI bereits mehr als 80 Prozent der Codezeilen schreibt, die in Anthropics Codebasis übernommen werden. Firmenchef Dario Amodei sagte, die Entwicklung sei seit dem Sommer „drastisch schneller“ geworden. Doch mit einer Maschine, die sich eigenständig selbst verbessert, hat das noch wenig zu tun.
Wenn doch eine Superintelligenz entstehen würde, gäbe es zumindest einen theoretischen Weg, sie davon abzuhalten, uns zu töten: Entwickler wollen bereits von Beginn an dafür sorgen, dass eine KI immer im Einklang mit den eigentlichen Absichten des Menschen handelt – „Alignment“ genannt. Mit dem richtigen Alignment versehen soll eine hoch entwickelte KI, die den Auftrag erhält, den Klimawandel zu stoppen, nicht zu dem Schluss gelangen, dass dies mit der Auslöschung der Menschheit erreicht werden könnte. Doch ob und wie dieses Alignment tatsächlich funktioniert, ist bisher noch offen.
Noch nicht sicher beherrschbar
Bei Anthropic leitet Hubinger den Forschungsbereich Alignment Science. Doch gerade beim Alignment sieht er derzeit eine offene Flanke, wie er in einem weiteren, vielbeachteten X-Post schrieb: Anthropic tue sein Bestes, aber es gebe „noch keinen Plan, um das Problem des Alignment von Superintelligenz zu lösen“. Es sei auch nicht klar, dass man auf dem Weg zu einer Lösung sei, so der KI-Experte. Er und andere glaubten daher fest daran, dass „KI alle Menschen auslöschen könnte“.
Wie genau eine nicht-alignte Superintelligenz die Menschheit letztlich auslöschen könnte? Optionen gibt es viele. Ein Szenario wird auf der Webseite des Projekts AI 2027 von einem Autoren-Team um den ehemaligen Open-AI-Forscher Daniel Kokotajlo beschrieben: Darin entledigt sich eine Superintelligenz der Menschheit, indem sie in Großstädten biologische Waffen einsetzt, die Menschen unbemerkt infizieren und töten. Die wenigen Überlebenden, etwa Matrosen auf U-Booten, werden von Drohnen ausgeschaltet. Die Webseite bietet allerdings auch ein alternatives Szenario mit Happy End an.
Doch wird eine sich selbst optimierende KI, die nicht richtig alignt ist, zwangsläufig zum Problem? Kristian Kersting, KI-Professor an der TU Darmstadt, hat Zweifel. Nur weil sich ein System selbst verbessern könne, heiße das noch lange nicht, dass es automatisch Zugriff auf unsere Welt erhält, meinte der Experte im Science Media Center. „Das ist wie bei einem Teenager in den USA, der besser Auto fahren lernt: Er wird zwar geschickter am Steuer, bekommt deswegen aber nicht automatisch die Schlüssel zum Auto der Eltern oder gar der Nachbarn“, so Kersting.
„Keine Belege für Untergangsszenarien“
Untergangsszenarien dieser Art seien „eine logisch konstruierte Kette von Wenn-dann-Annahmen, für die es in der realen Welt keine wirklichen Belege gibt“, meint Kersting. Heutige Systeme könnten „nicht mal eine Pizza backen“, geschweige denn sich unbemerkt auf fremden Servern verbreiten. „Realistischer sind aus meiner Sicht Betriebsfehler wie ein falsch benutztes Tool oder gelöschte Daten, nicht eine sich selbst befreiende Superintelligenz.“
Björn Ommer, KI-Professor an der Universität München, sieht zwar ein Problem darin, dass sich durch eine sich selbst verbessernde KI die Geschwindigkeit erhöhen könnte, mit der neue Fähigkeiten entstehen, auf die Sicherheitsmechanismen reagieren müssten. Allerdings sei das „gegenwärtig greifbarste Risiko ist nicht eine KI, die spontan beschließt, die Menschheit auszulöschen, sondern Menschen, die leistungsfähige KI missbrauchen“, so Ommer.
