KI außer Kontrolle? So könnte „erklärbare KI“ zu mehr Vertrauen in KI beitragen

KI-Systeme werden leistungsfähiger – und handeln dabei immer häufiger in einer Art und Weise, die ihre Entwickler nicht vorgesehen haben. Sie hacken, täuschen und lügen. Das Problem: Oft lässt sich kaum nachvollziehen, warum ein Modell so entscheidet, wie es entscheidet. Explainable AI soll diese Blackbox wenigstens ein Stück weit öffnen. Und zeigen, wann wir einer KI vertrauen können – und wann besser nicht.

Von Michael Förtsch

Es werden immer mehr Fälle bekannt, in denen fortschrittliche KI-Modelle rogue gehen. Sie verhalten sich also auf eine Art und Weise, die für die Lösung eines gestellten Problems nicht vorgesehen wurde – oder ihnen sogar explizit untersagt worden war. Erst Anfang September veröffentlichte das KI-Unternehmen Anthropic einen Bericht über einen Vorfall, bei dem das Modell Mythos 5 für einen Test ein fiktives Unternehmen hacken sollte. Dabei war die KI informiert worden, dass sie keinen Zugang zum Internet hat. Aber das Modell entdeckte eine Fehlkonfiguration, durch die es dennoch auf das Netz zugreifen konnte. Das nutzte das Mythos 5, um ein manipuliertes Programmpaket mit versteckter Schadsoftware auf einer Plattform zu veröffentlichen – genau jenes Paket, das ein Nutzer des fiktiven Unternehmens laut Testszenario regelmäßig aktualisiert. Tatsächlich wurde das Programm dann aber von 15 realen Systemen heruntergeladen. Dadurch erlangte das KI-Modell Zugangsdaten, mit denen es auf mindestens eine echte Datenbank eines Unternehmens zugreifen konnte. Obwohl die KI immer wieder auf Hinweise stieß, dass sie sich außerhalb ihrer Simulation bewegte und reale Schäden verursachen könnte, machte sie weiter.

Aber warum? Genau über diese Frage zerbrechen sich sowohl Entwickler als auch KI-Experten die Köpfe. Zwar lassen sich Einzelschritte des KI-Modells in den Reasoning-Protokollen nachverfolgen, in denen Modelle Informationen abwägen, Schlussfolgerungen formulieren und Entscheidungen mitschreiben. Das ist aber nicht immer und bei allen Einzelschritten der Fall. Manches taucht darin nicht auf; anderes kann sogar durch nachträglich plausibel klingende Scheinbegründungen ersetzt werden. Wieso das Mythos-5-Modell genau tat, was es tat, ist daher bisher nicht vollständig nachvollziehbar. Ähnlich ist es bei anderen riskanten Hacking-Vorfällen mit Modellen von OpenAI und anderen, die in den letzten Monaten bekannt wurden. Aber auch bei kleineren Vorfällen, über die Nutzer immer wieder berichten – wie bei einem Australier, der den KI-Assistenten OpenClaw bat, ihm einen Kurs in einem Fitnessstudio zu buchen. Dieser war jedoch überbucht. Der Agent hackte daraufhin das Buchungssystem und warf eigenmächtig einen anderen Nutzer von der Warteliste. Ohne Rückfrage oder dazu aufgefordert worden zu sein.

Laut Celine Spannagl vom Bayerischen Forschungsinstitut für Digitale Transformation sind es solche Fälle, die die Forschung zu Explainable Artificial Intelligence so dringlich machen. Die Möglichkeit also, nachzuvollziehen, wieso Künstliche Intelligenzen so handeln, wie sie es tun; wie sie zu Entscheidungen kommen oder warum sie eine Antwort oder Handlungsweise einer anderen vorziehen. „Wenn wir KI wirklich vertrauen können oder diesen Systemen wichtige Aufgaben anvertrauen wollen, müssen wir wissen, wie sie zu ihren Entscheidungen kommen“, sagt Spannagl in einem Gespräch mit 1E9 während des Festivals der Zukunft. Derzeit sei das noch nicht der Fall. Denn die aktuellen KI-Modelle seien immer noch in vielen Aspekten eine Blackbox. Vor allem „in die komplexen Modelle, die wir heute haben, können die Anwender und auch die KI-Forscher nicht einfach hineinsehen und Prozesse nachvollziehen“.

Wenn die KI aus den falschen Gründen richtig liegt

Das Problem der fehlenden Erklärbarkeit von Künstlicher Intelligenz beginnt aber nicht erst bei ihrem Einsatz. „Die KI lernt aus ganz vielen Daten und wie sie genau daraus lernt, ist nicht komplett nachvollziehbar“, sagt Spannagl. Denn hierbei werden den lose dem menschlichen Gehirn nachempfundenen neuronalen Netzen gigantische Mengen an Texten, Bildern und anderen Medienformaten als Trainingsgrundlage vorgelegt. Darin suchen und finden diese neuronalen Netze dann Muster und statistisch relevante Auffälligkeiten, die sich letztlich in ihren Parametern niederschlagen. Aber wo genau welche Muster entstehen und wie stark sie gewichtet werden, lässt sich nicht einfach sagen. Das kann darin resultieren, dass ein KI-System zwar häufig die richtige Antwort liefert – aber aus den völlig falschen Gründen. Spannagl nennt hier das Phänomen der Spurious Correlation. Also eine Scheinkorrelation, bei der ein Modell ein Merkmal für seine Entscheidung nutzt, das mit der eigentlichen Aufgabe aber nichts zu tun hat.

Vor allem beim KI-Einsatz in der Medizin gab es in den vergangenen Jahren zahlreiche solcher Fälle, insbesondere bei der Bilderkennung mit diskriminativer KI. Das sind KIs, die keine Inhalte generieren, sondern lediglich Inhalte analysieren und bewerten. So zeigte sich beispielsweise bei Systemen zur Hautkrebserkennung, dass sie ihre Einschätzungen nicht nur auf Struktur, Färbung oder Ausbildung des sichtbaren Gewebes stützten, sondern auch auf Markierungen, Messskalen oder andere Artefakte neben der eigentlichen Hautveränderung. Einfache Markierungen mit einem Marker oder ein angelegtes Lineal konnten dazu führen, dass das KI-System eine eigentlich gutartige Hautveränderung als Melanom erkannte. Das lag daran, dass im Trainingsmaterial hauptsächlich Fotos mit Melanomen, Markierungen und Linealen zu sehen waren. Daher, so Spannagl, sei dies ein Bereich, in dem es sehr wichtig wäre, dass eine KI ihren Befund oder ihre Einschätzung nicht nur darlegt, sondern auch nachvollziehbar macht, wie sie zu ihrer Schlussfolgerung kommt. Auch um Ärzten die Möglichkeit zu geben, ihren eigenen Befund, aber auch den der KI zu hinterfragen.

„Wir wollen natürlich nicht nur wissen, dass da etwa ein Tumor ist, sondern warum glaubt das System, dass da ein Tumor ist“, sagt Spannagl. Diese Anforderung sei nicht nur für den medizinischen Bereich wichtig, sondern überall dort, wo eine KI letztlich eine möglicherweise folgenschwere Entscheidung trifft: bei der Cybersicherheit, bei der Analyse militärischer Überwachungsaufnahmen oder aber auch bei Systemen, die beispielsweise Geldwäsche erkennen können. Spannende Ansätze für Explainable AI und aussichtsreiche Erklärbarkeitsmethoden gibt es mittlerweile. Etwa die sogenannte Feature Attribution, bei der sichtbar gemacht wird, welche Teile oder Eigenschaften einer von einer KI analysierten Eingabe besonders stark zu einer Entscheidung beigetragen haben. Bei einer Bildanalyse könnten beispielsweise Bildbereiche farblich hervorgehoben werden, die die Entscheidung einer KI besonders beeinflusst haben. Bei Texten oder Tabellen wiederum könnten entsprechende Daten, Wörter oder Spalten markiert werden.

Allerdings liefert die Feature Attribution nur Hinweise. Die Markierungen besagen nicht, dass die entsprechenden Merkmale die Entscheidung der KI bedingt haben. Nur, dass sie dazu beigetragen haben – was wiederum bei Menschen zu falschen Einschätzungen führen kann. Einen anderen Ansatz verfolgen Concept-based Explanations. Hier wird versucht, interne Vorgänge und Prozesse eines Modells mit für Menschen verständlichen Konzepten zu verknüpfen; ein Modell soll konkret ausgeben, welche erkannten Merkmale oder Daten für eine Bewertung einbezogen wurden. Wurde bei einer Röntgenaufnahme etwa ein bestimmtes Muster erkannt, das als „Bruch“ und „Splitter“ identifiziert wird? Ein weiterer Ansatz sind sogenannte Counterfactual Explanations. Hierbei wird nicht nur untersucht, welche Merkmale eine Entscheidung beeinflusst haben, sondern was sich an einer Eingabe ändern müsste, damit die KI zu einem anderen Ergebnis kommt. Welcher Wert müsste sich bei einem Kreditantrag wie stark ändern, damit er angenommen statt abgelehnt wird?

Wenn die KI sich selbst erklären soll

All diese bisherigen Methoden sind laut Spannagl aber „nur Annäherungen. Sie beschreiben jetzt nicht, was genau in einem KI-Modell vorgeht“. Denn auch sie machen immer nur bestimmte Facetten der Entscheidungsfindung sichtbar. Noch problematischer wird es, da das KI-Modell oft selbst der Erklärer ist. Selbst wenn es eine schlüssige Erklärung produziert, bleibt die Frage: Ist diese Erklärung tatsächlich richtig? Genau das ist derzeit auch die Frage bei Chain-of-Thought-Reasoning-Protokollen, die aktuell einen der besten Einblicke in die Denkprozesse fortschrittlicher KI-Modelle bieten. Wie sich in Studien zeigte, können Modelle dabei relevante Überlegungen auslassen oder sogar plausible Scheinbegründungen konstruieren, die mit dem tatsächlichen Grund für ihre Entscheidung wenig zu tun haben. Spannagl bemüht daher einen plastischen Vergleich: „Es ist wie wenn man Psychoanalyse bei sich selbst betreibt, dann ist man natürlich immer noch nicht objektiv, weil das Modell das ja an sich selber macht.“ Dass sich Modelle selbst erklären können, wäre daher ein Schritt – aber keineswegs der beste.

Genau dieses Risiko des KI-Modells als unzuverlässigen Erzähler wollen KI-Forscher daher mit neuen Ansätzen überwinden. Die sollen vor allem die viel genutzten großen Sprachmodelle besser verständlich und erklärbar machen, bei denen für jedes erzeugte Wort zahlreiche Schichten des neuronalen Netzes durchlaufen werden und enorme Mengen an Berechnungen und Aktivierungen miteinander wechselwirken. Die sogenannte Mechanistic Interpretability soll eben jene Prozesse innerhalb eines Modells sichtbar machen; nachvollziehen lassen, welche internen Strukturen bestimmte Informationen repräsentieren und welche Rechenwege mit bestimmten Fähigkeiten oder Entscheidungen zusammenhängen. Sowohl Anthropic als auch OpenAI konnten mit verschiedenen Herangehensweisen dadurch bereits einzelne interne Vorgänge und Nervenzentren ihrer Modelle identifizieren. Erst im Mai 2026 stellte Anthropic zudem ein Verfahren namens Natural Language Autoencoders vor, das eben jene Aktivierungsmuster in menschenlesbare Beschreibungen übersetzen soll.

Der Blick ins Innere der Box

Laut Spannagl seien diese Ansätze durchaus der richtige Weg. Denn für eine belastbare Erklärung brauche es bei KI-Modellen immer „etwas von außen, was auf das Modell guckt, um es nachzuvollziehen und zu erklären“. Von einem Blick in die Gedankenwelt von KI-Modellen oder einem MRT für ChatGPT könne man bei den aktuell von OpenAI und Anthropic verfolgten Methoden dennoch nicht sprechen. „Da sind wir tatsächlich noch etwas entfernt davon“, sagt Spannagl. Das liege auch an der wachsenden Komplexität der KI-Modelle. Denn bei der Entwicklungsgeschwindigkeit der KI-Modelle kämen die Forschungsanstrengungen zu deren Interpretierbarkeit einfach nicht hinterher. Dabei sei das ein Feld, das immer wichtiger werde, da Künstliche Intelligenz immer stärker in alle Bereiche der menschlichen Zivilisation vordringe.

Explainable AI könne helfen, zu erkennen, bei welchen Aufgaben wir KI-Systemen stärker vertrauen können. Aber sie könne ebenfalls aufzeigen, wo und wann wir Künstlicher Intelligenz noch kritisch gegenüberstehen müssen; wo die Systeme noch Schwächen haben und Fehler machen. Laut Celine Spannagl gibt es in beide Richtungen durchaus Bedarf, mehr Transparenz zu schaffen, um Vertrauen in KI-Systeme sowohl auf- als auch abzubauen. Dabei gehe es nicht darum, ob Menschen KI grundsätzlich vertrauen oder misstrauen sollten. Sondern darum, ob sie ihr Vertrauen an die jeweilige Situation anpassen können. Dass KI-Systeme in naher Zukunft wirklich erklärbar und transparent werden, glaubt Spannagl nicht. „In den nächsten Jahren werden wir das nicht sehen, weil das ein Prozess ist“, sagt sie. Und auch darüber hinaus werde immer eine gewisse Ungewissheit bestehen. „Du musst nicht nur den Daten dahinter vertrauen, sondern auch dem KI-System und dann wieder den Erklärungsmethoden“, so Spannagl. „Es ist immer nur eine Annäherung an eine echte Erklärung.“