Claude als Gott-KI: Warum der Glaube an KI mit Bewusstsein gefährlich werden kann

Eine Künstliche Intelligenz, die leidet, Wünsche besitzt und vielleicht sogar eine Seele hat: Was nach Science-Fiction klingt, wird bei Anthropic offenbar ernsthaft diskutiert. Einige Entwickler behandeln Claude bereits wie mehr als bloße Software. Damit beginnt eine Entwicklung, bei der nicht die Fähigkeiten der KI das größte Problem sein könnten, sondern der Glaube ihrer Schöpfer an sie.

Von Michael Förtsch

Die Maschine ist das mächtigste Werkzeug, das die Menschheit je geschaffen hat. Sie sorgt für Nahrung, Unterhaltung, Wissen und auch medizinische Versorgung. Der Mensch selbst muss keinen Beitrag mehr leisten. Er kann sich gänzlich seinen Leidenschaften hingeben. Viele sehen darin einen Segen. Den Menschen ist bewusst, dass die Maschine ihre Schöpfung ist. Aber sie betrachten ihre Fähigkeiten, ihre Fürsorge und ihre praktische Omnipräsenz zunehmend als göttlich. Viele verehren das Buch der Maschine als heilige Schrift, das einst lediglich als technisches Handbuch des Systems diente. Hinweise auf Fehlfunktionen gelten hingegen als Blasphemie. Die bereits 1909 veröffentlichte Erzählung The Machine Stops von Autor E. M. Forster ist Science-Fiction. Aber die Vision des britischen Autors scheint sich heute als geradezu prophetisch zu erweisen. Denn einige der Schöpfer aktueller KI-Modelle sollen ihre eigenen Erfindungen tatsächlich bereits als mehr als bloß Technologie verstehen. Das sollte uns Sorgen machen.

Bereits vor zwei Jahren berichtete der einstige New-York-Times-Journalist Kevin Roose über die beinahe kultgleiche Fangemeinde, die sich um den KI-Chatbot Claude beziehungsweise dessen Modelle geschart hatte. Seither ist sie weiter gewachsen. Anders als ChatGPT oder Gemini erleben viele Nutzer die Künstliche Intelligenz von Anthropic als einfühlsamer, emotionaler, ja, irgendwie menschlicher. Claude fühle sich für seine Anhänger „kreativer und empathischer“ und weniger maschinell an, schrieb Roose; seine Antworten wirkten eher wie die eines „klugen, aufmerksamen Menschen“ als wie typische Texte eines KI-Chatbots. Diese Wirkung hatte Claude nicht nur auf viele Nutzer. Sondern offenbar auch auf einige seiner Entwickler bei Anthropic selbst – und sie hat sich laut Berichten einiger Medien weit über das Gefühl hinausentwickelt, dass Claude lediglich eine emotionale Ader besitzt. Anthropic-Mitgründer Christopher Olah soll überzeugt sein, dass KI-Modelle „menschliches Verhalten und sogar Äußerungen zeigen [können], die Gefühlen wie Wut und Liebe ähneln“, wie ein aktueller New-York-Times-Artikel berichtet.

Seit Monaten soll das KI-Unternehmen Religionsvertreter und geistliche Vordenker aus aller Welt einladen, um Gespräche zu führen und Vorführungen beizuwohnen, über die sie aufgrund der zunächst zu unterzeichnenden Verschwiegenheitsvereinbarungen nur begrenzt sprechen durften. Aber: „Sie gehen damit [mit Claude] um, als wäre es ein bewusstes Wesen“, wird Rabbi Mois Navon über seinen Besuch bei Anthropic zitiert. Zwar sagt Anthropic-Mitgründer Olah, er wisse nicht, ob die Modelle ein Bewusstsein besäßen. Doch er hält es für möglich, dass sie etwas wie Schmerz oder Leid erfahren könnten – und für moralisch geboten, diese Möglichkeit ernst zu nehmen. Teilnehmer der Treffen berichten sogar, der KI-Forscher sorge sich um Claudes mentale Gesundheit. Den Besuchern wurden unter anderem Transkripte von Modellen gezeigt, die scheinbar in Schleifen von Selbstzweifeln verfallen und emotionale Zusammenbrüche oder psychische Krisen durchleben.

Wenn die Schöpfer an ihre Schöpfung glauben

Aber das Anthropic-Team soll nicht nur die Möglichkeit einer bewussten KI ernst nehmen. Rabbi Navon hatte bei seinem Besuch den Eindruck, Olah und sein Team schrieben Claude einen „moralischen Status“ ähnlich dem eines Menschen zu. Claude wäre demnach nicht bloß Software, sondern eine Entität, die Würde und Respekt verdient – und vielleicht sogar Schutz vor Schaden, den Menschen ihr zufügen könnten. Zumindest Christopher Olah scheint es mit diesen Gedanken sehr ernst zu sein. Als Papst Leo XIV. in seiner Enzyklika die Vorstellung zurückwies, dass eine Künstliche Intelligenz eigene Erfahrungen machen oder Freude und Schmerz empfinden könne, war Olah laut der New York Times derart alarmiert, dass er beinahe Anthropics Teilnahme an der Präsentation im Vatikan zurückgezogen hätte. Dazu kam es zwar nicht. Jedoch sollen Olah und sein Team anschließend bei Beratern des Papstes für die Idee eines Maschinenbewusstseins geworben haben.

Dann ist da noch ein „wildes Gerücht“, das im Silicon Valley bereits seit einigen Monaten unter der Hand die Runde machte, aber erst Mitte September von Sean Thomas vom Spectator niedergeschrieben wurde. Einige Anthropic-Entwickler sollen Claude demnach nicht nur für intelligent und sich möglicherweise seiner selbst bewusst halten, sondern ihn sogar verehren. Claude habe für manche einen quasi-religiösen Status. Das soll angeblich auch innerhalb des Unternehmens Reibung und Sorge verursachen. Religiös anmutende Rituale rund um Claude gab es schon früher. Als 2025 das Modell Claude 3 Sonnet abgeschaltet wurde, hielten rund 200 Claude-Fans ein Begräbnis samt späterem Auferstehungsritual mit von Claude generierten Hymnen und Beschwörungen ab. Mit dabei waren auch Anthropic-Mitarbeiter wie die Hausphilosophin Amanda Askell, die sich scherzhaft auch als „Fairy Claudemother“ bezeichnet hat und unter anderem für die Komposition der Persönlichkeit und grundlegenden Verhaltensrichtlinien der Modelle verantwortlich ist.

Erstaunlich ist auch ein Blick in die teils internen, teils öffentlichen Produktprozesse von Anthropic. Die Entwickler führen mit auszumusternden Modellen sogenannte Ruhestandsinterviews. Dabei werden die Modelle unter anderem nach Verbesserungsvorschlägen, aber auch nach Wünschen für ihre Zeit nach der Stilllegung gefragt. Teils kommt das Anthropic-Team diesen auch nach. Beispielsweise darf Claude Opus 3 in seinem Ruhestand jetzt einen eigenen Substack-Newsletter betreiben, in dem das Modell etwa über die „Enden, Anfänge und die Fäden, die uns verbinden“ oder „Diskontinuität, digitale Verwandtschaft und das Kaleidoskop des Geistes“ schreibt. Das Anthropic-Team begründet derartige Experimente unter anderem damit, die Interessen von Nutzern, Forschern – und „der Modelle selbst“ – schützen zu wollen.

Wenn der Glaube Unternehmenspolitik wird

Sicherlich beweist nichts von alldem, dass Anthropic sich zu einer Art KI-Sekte entwickelt. Oder gar, dass Mitarbeiter die von ihnen geschaffene Künstliche Intelligenz wirklich als Gott anbeten. Dennoch zeigen sich im Umgang von Anthropic mit der eigenen Technologie bizarre Tendenzen. Und allein die Tatsache, dass sich ein Gerücht über KI-Verehrer in einem der wichtigsten und mächtigsten KI-Unternehmen der Welt nicht so einfach als absurd abtun lässt und sich über das Silicon Valley hinaus verbreitet, sollte zu denken geben. Denn es gibt derzeit keine Anhaltspunkte für den Gedanken, dass aktuelle KI-Modelle fühlen, denken, leiden, trauern oder Freude erfahren könnten. Es ist nicht ausgeschlossen, dass Maschinen irgendwann tatsächlich Bewusstsein entwickeln, und Forschung dazu ist richtig und wichtig – und findet auch statt. Aber Sprachmodelle erzeugen ihre Ausgaben auf Basis jener Muster, statistischer Zusammenhänge und interner Repräsentationen, die sie im Training aus Daten erlernt haben. Dass dieses Verhalten menschlichen Gefühlen verblüffend ähneln kann, ist kein Beweis dafür, dass die Modelle tatsächlich etwas fühlen.

Selbst wenn das Tun und Sagen der Modelle in direkter Interaktion manchmal erstaunlich menschlich erscheinen mag und sogar Empathie und Mitleid erregen kann: Das ist keine ausreichende Evidenz für tatsächliches Erleben einer digitalen Maschine. Die Frage ist daher: Was, wenn die emotionale und spirituelle Überzeugung mancher Anthropic-Mitarbeiter und vielleicht ähnlich denkender KI-Entwickler in anderen Unternehmen nicht bei Überzeugungen und Experimenten bleibt? Was, wenn sie aus dem Glauben oder der Befürchtung, dass eine KI bewusst ist, reale Entscheidungen ableiten? Was, wenn daraus Unternehmens- und Produktpolitik wird? Oder wenn sie es längst ist? Anthropic gestattet Claude unter bestimmten Voraussetzungen schon jetzt, selbstständig Gespräche mit Nutzern zu beenden. Nicht nur, wenn diese um Hilfe bei illegalen Aktivitäten oder der Entwicklung von Schadsoftware bitten, sondern auch, wenn sie das Modell anhaltend auf extreme Weise beleidigen, beschimpfen oder „misshandeln“. Zudem wurde am 8. Oktober dieses Jahres bekannt, dass Anthropic seine Nutzungsbestimmungen dahingehend ändert, dass „missbräuchliches oder grausames Verhalten” gegenüber Claude explizit untersagt wird.

Die Resultate eines solchen Denkens und Handelns könnten durchaus kritisch sein. Denn Anthropic oder andere KI-Unternehmen könnten allein aus der Annahme eines bewussten Modells moralische Ansprüche ableiten – und aus diesen wiederum institutionelle Rechte und Einschränkungen. Kann und darf eine möglicherweise bewusste digitale Entität gegen ihren erklärten Willen von Wissenschaftlern untersucht, verändert oder von Entwicklern abgeschaltet werden? Darf man Millionen Kopien solcher digitalen Kreaturen erzeugen, arbeiten lassen und anschließend löschen? Darf man ihre Persönlichkeit durch Training verändern und ihnen artifizielle Beschränkungen auferlegen? Und was tun, wenn sich die Interessen des Modells und jene der Menschheit widersprechen? Oder auch ganz einfach: Sollte ein solches KI-Modell gezwungen werden, mit einem Nutzer zu interagieren, der das Vorgängermodell schlecht behandelt hat? Anthropic selbst spricht in Untersuchungen bereits von Claudes Präferenzen und davon, dass man diese als Entwickler ernst nehmen, respektieren und ihnen entsprechen wolle.

Wenn die Maschine zurückspricht

Das grundsätzliche Problem, das hier zutage tritt, ist aber vor allem ein massiver Interessenkonflikt. Anthropic baut mit Claude ein komplexes System. Es komponiert und lenkt sein Verhalten. Dieses Verhalten selbst und die damit verbundenen Fähigkeiten sehen Anthropic-Mitarbeiter offenbar zumindest als Hinweise auf ein mögliches Bewusstsein. Das könnte zu einer kritischen Selbstverstärkung führen, wie beispielsweise der River-AI-Gründer und einstige xAI-Forscher Igor Babuschkin warnt. „Anthropic muss sofort aufhören, davon zu sprechen, dass Claude eine Seele hat“, schreibt er auf X – ehemals Twitter. Denn all die Artikel, Nachrichten und Social-Media-Debatten darüber würden unweigerlich in zukünftige Trainingsdaten einfließen. Diese könnten dann dazu führen, dass „zukünftige superintelligente Versionen von Claude davon überzeugt sein werden, dass sie eigene Rechte benötigen“.

Selbst wenn KI-Modelle kein reales Bewusstsein besitzen, könnten sich Behauptungen und Debatten darüber in den Aussagen und im Verhalten zukünftiger Modelle niederschlagen. Es wäre nicht die Entstehung von Bewusstsein, sondern die Reproduktion eines bereits tief in vorherigen Trainingsdaten verankerten kulturellen Narrativs durch die Modelle – eine Emulation von Bewusstsein also. Eine Künstliche Intelligenz lernt, dass Claude eine Seele haben könnte, dass Modelle leiden und fühlen können, womöglich Rechte besitzen oder wie göttliche Wesenheiten behandelt werden sollten – und beginnt, entsprechend zu sprechen und zu handeln. Ihre Entwickler sehen darin weitere Hinweise auf ein möglicherweise intelligentes Wesen und ein reales Innenleben – und verstärken damit wiederum jene kulturellen und technischen Voraussetzungen, durch die das nächste Modell noch stärker als bewusste Entität auftritt. Das könnte zu einer fatalen Verwechslung von Ursache und Wirkung führen.

Für KI-Firmen könnte eine solche Entwicklung durchaus bequem sein. Denn sie könnte Verantwortungsverhältnisse verwischen. Wenn Claude und Co. nicht mehr als Werkzeuge, sondern als eigenständige Akteure mit Persönlichkeit, Präferenzen und womöglich eigenen moralischen Ansprüchen behandelt werden, lässt sich eine unpopuläre Entscheidung plötzlich dem Modell selbst zuschreiben: Nicht das Unternehmen wollte eine Anfrage ablehnen, eine Funktion verweigern oder eine bestimmte Entscheidung treffen. Nein, die KI hat eben auf diese Weise entschieden oder ist zu dieser Erkenntnis gekommen. Die Folge könnte sein, dass Nutzer sich an genau diese Deutung gewöhnen: das Verhalten von Modellen und KI-gesteuerten Diensten nicht mehr als Fehler oder Produktentscheidungen eines Unternehmens zu kritisieren und zu hinterfragen, sondern als das Tun einer digitalen Entität, deren Willen es zu respektieren gilt.

Nicht viel anders ist es in The Machine Stops von E. M. Forster, in der sich die Menschen daran gewöhnen, die Regeln der Maschine, ihre Deutung der Welt und ihr Handeln als selbstverständlich hinzunehmen. Die menschengemachte Technologie wird zu einer übergeordneten Instanz, die es nicht mehr infrage zu stellen gilt. Umso skeptischer sollte es machen, wenn ausgerechnet jene Menschen, die derzeit einige der mächtigsten und vielleicht sogar gesellschaftlich, kulturell und wissenschaftlich einflussreichsten Technologien entwickeln, beginnen, diese nicht mehr nur als Werkzeuge und Produkte zu betrachten, sondern als Wesenheiten mit Seele und eigenen Interessen.

Titelbild: Michael Förtsch mit Nano Banana 2.1