Was bringen die Vorschläge des Anthropic-Chefs für mehr KI-Sicherheit?

In der aufgeregten Debatte um die Auslöschung der Menschheit durch Künstliche Intelligenz ist nahezu untergangen, dass Anthropic-CEOs Dario Amodei konkrete Vorschläge unterbreitet hat, wie bei KI für mehr Sicherheit und Transparenz gesorgt werden könnte. Zum Glück hat sich unsere Kolumnistin Aleksandra Sowa alias Kryptomania, ihres Zeichens IT-Sicherheitsexpertin, die Ideen des Claude-Anbieters für uns genauer angeschaut. Ihr Fazit: Ein Hauch von Mottenkiste, aber das muss nichts Schlechtes sein. Im Gegenteil: Die angedachten Maßnahmen sind sogar gut.

Eine Kolumne von Dr. Aleksandra Sowa

September 2026. Der Monat, der vermutlich als der Monat des Essays We Must Pace the Frontier von Dario Amodei, CEO des KI-Herstellers Anthropic, in die Geschichte der Menschheit eingehen wird.

Die Entwicklung der Künstlichen Intelligenz (KI), so der Tenor der Berichterstattung und die Reaktionen aus Branche und Politik, ja sogar aus Forschung und Wissenschaft auf den Essay, müsse pausiert werden, bevor sie uns alle killt. Oder zu Büroklammern verarbeitet. Oder die Menschheit auf das gleiche zivilisatorische Niveau zurückwirft, auf das bisher die Tiere von den Menschen gestellt wurden. AGI, Weltuntergang, KI-Apokalypse, die jetzt alle früher als später kommen sollen. Ihre Ontogenese, ihre Prämissen, ihr Ablauf – und unser Ende. Radikale Protagonisten – und nicht weniger radikale Antagonisten, die das wiederum als PR-Aktion oder einfach als Unsinn abtun, stehen sich gegenüber.

Alle reden also vom AI Doomsday. Wir nicht.

Wir haben den Essay gelesen und finden, dass die Maßnahmen, die Dario Amodei sich selbst und seiner Firma auferlegen möchte, sinnvoll sind. Ja, dass sie sogar gut sind.

Es geht um die Passagen, in denen Amodei beschreibt – teilweise recht detailliert und mit operativer Tiefe –, wie er eine KI-Entwicklungspause nutzen möchte: um wieder mehr Kontrolle über die Technologie, die sein Unternehmen entwickelt, zu gewinnen. Und dabei auch mehr Kontrolle über sein Unternehmen selbst. Und dann schließlich darüber, wie das Ganze dabei helfen könnte, die Kontrolle über die Branche zu gewinnen – zuerst in den USA, dann weltweit.

Wie KI sich entwickelt und wie sie angewendet wird, stellt eine Bedrohung, ein Risiko dar, meint Amodei. Lasst uns also die Risiken wie Risiken behandeln und das tun, was man mit Risiken üblicherweise tut: sie mitigieren. Nicht einfach akzeptieren und auch nicht, wie jetzt so oft die Politik, in Machtlosigkeit erstarren. Gegenmaßnahmen vorschlagen – und umsetzen. Am besten gleich zusammen mit den anderen, die es betrifft. Darüber schreibt Amodei.

Und es liest sich ein wenig wie die Erkenntnisse von jemandem, der sein Unternehmen an der US-Börse listen möchte. Anthropic hat tatsächlich kürzlich angekündigt, dies zu wollen. Dann geht es um SOX, COSO, ICS – Kontrollsysteme, mit denen Vorstände oder Geschäftsführer belegen müssen, dass sie den Laden unter Kontrolle haben – und die Verantwortung dafür übernehmen. Etwas, wovon die Geschäftsleitungen der kritischen Einrichtungen in Deutschland, sofern sie bspw. keine DAX-Unternehmen sind, auch erst kürzlich dank der europäischen NIS-2-Richtlinie erfahren haben.

Wobei im Englischen noch zwischen Responsibility (dt.: Verantwortung) und Accountability (dt.: Verantwortung) unterschieden wird. Um Letztere handelt es sich – auch in NIS-2. Es geht auch schon lange nicht mehr nur um die Mitigation von Finanzrisiken. Für Deutschland formuliert es das Bundesamt für Sicherheit in der Informationstechnik (BSI) sehr deutlich: Die Verantwortung für die Cybersicherheit liegt unmittelbar bei der Unternehmensleitung. Im BSI-Gesetz, das der Umsetzung der NIS-2-Richtlinie dient, wird in § 38 Abs. 1 „die Geschäftsleitung wichtiger und besonders wichtiger Einrichtungen persönlich verpflichtet, die erforderlichen Risikomanagementmaßnahmen für die IT-Sicherheit umzusetzen und diese Umsetzung zu überwachen“.

Doch zurück zu Amodei. Denn: Seine Vorschläge kommen uns ein bisschen bekannt vor.

Warum nicht klassische Methoden der Internen Revision auf KI übertragen?

Der CEO von Anthropic überraschte mit der Idee, in seinem Unternehmen eine Art „Interne Revision“ zu gründen. Er nennt sie nur ganz anders, nämlich „Embedded Evaluators“. Zu diesen verpflichtete sich Anthropic erstmal einseitig; OpenAI-Chef Sam Altman pflichtete jedoch sofort bei, das Gleiche tun zu wollen; „Dario is right“, postete auch Elon Musk auf X, dessen Konzern SpaceXAI mit Grok ebenfalls ein mächtiges KI-Modell anbietet.

„Anthropic setzt sich seit Langem für eine vernünftige und gezielte Regulierung von KI ein, insbesondere für Gesetze, die den Schwerpunkt auf Transparenz und unabhängige Prüfungen durch Dritte legen. Ich bin der Ansicht, dass alle führenden KI-Labore mit staatlichen Stellen zusammenarbeiten sollten, um das Konzept dauerhaft eingebundener, unabhängiger Prüfer institutionell zu verankern. So ließen sich interne Alignment-Vorfälle, wie sie in den vergangenen Monaten aufgetreten sind, besser verhindern und dokumentieren.  [...]”, schlägt Amodei vor. Deswegen solle es „eingebettete“ bzw. „eingebundene Evaluatoren“ geben, ähnlich wie sie im Bankwesen bereits üblich sind. Ausgestattet werden sie mit Berechtigungen und Werkzeugen, die denen interner Mitarbeitender entsprechen, die Risikobewertungen durchführen.

Es kommt dem nahe, wie die Bankenrevision in Deutschland organisiert ist: unabhängig, aber in die Organisation eingebettet. Modernisiert wurde die Revision nach Basel II, das die Sicherheit und Solidität des internationalen Finanzsystems nach dem Platzen der Dotcom-Blase stärken sollte. Heute prüft man nicht mehr alles, sondern legt dem (jährlichen) Prüfungsplan eine Risikobewertung zugrunde. Etwas kam hinzu: die Prüfungen operationeller Risiken (OpRisk).

Interne Prüfer mussten sich zu einer Art interner Berater entwickeln: Sie dürfen nicht nur Lücken und Schwachstellen im Kontrollsystem aufdecken, sondern auch Empfehlungen dazu unterbreiten, wie diese geschlossen werden können. Es entstanden neue, geeignete Prüfungsstandards, um diese Prüfungsarten zu strukturieren und zu validieren – damit die Revisoren dennoch ihre Unabhängigkeit innerhalb der Unternehmensorganisation wahren können. Und dies nachweislich.

Fast, als hätte man den Essay von Amodei vorausgeahnt, hat auch das Institut der Wirtschaftsprüfer in Deutschland e.V. (IDW) im Juni 2026 den passenden Standard über projektbegleitende Prüfung neu aufgelegt. Der IDW Prüfungsstandard „Projektbegleitende Prüfung“ (IDW PS 850 n.F. ) sowie der ihn ergänzende IDW Prüfungshinweis „Projektbegleitende Prüfung von IT-Projekten“ (IDW PH 9.850.1) fordern eine einheitliche und praxisorientierte Durchführung projektbegleitender Prüfungen – und damit ihre Nachvollziehbarkeit durch sachverständige Dritte. Damit stärken sie die Qualität der Beurteilung von Projekten insgesamt – und von IT-Projekten im Besonderen.

Die aktuelle Fassung, so das IDW, „trägt den steigenden Anforderungen an die Steuerung und Überwachung von Projekten in einem dynamischen regulatorischen, technologischen und wirtschaftlichen Umfeld Rechnung.“ Der Anwendungsbereich wurde erweitert: Der Standard gilt „grundsätzlich auf alle Arten von Projekten“ und für gängige Projektmanagement-Standards und Vorgehensmodelle. Heißt: Der Prüfer stört sich nicht mehr daran, dass komplexe Software „agil“ entwickelt wird – solange die Projektleiter und ihre Ingenieure den Softwareentwicklungsprozess erklären können.

Hinzu kommen weitere Standards und Prüfungsmethoden. Beispielsweise solche, die zeigen, wie man Penetrationstests als Instrument der Revision einsetzen kann. Sie helfen dabei, sich bei den Prüfungen an bestimmte Kriterien und Schemata zu orientieren, um den Ablauf der Prüfung transparent und nachvollziehbar – aber auch die Ergebnisse nachvollziehbar und reproduzierbar zu machen. Für den Geprüften, für den anderen (externen) Prüfer – und für die Aufsicht.

Amodeis Vorschlänge sind durchaus radikal – und sinnvoll

Was schlägt Amodei aber ganz konkret vor? Ein Framework, „um unser Engagement für Sicherheit weiter zu stärken und einen Wettbewerb um die höchsten Sicherheitsstandards zu fördern“.

Der erste Baustein dieses Frameworks: Anthropic etabliert, wie schon angesprochen, die sogenannten „Embedded Evaluators“. Ihre Rolle: die eingegangenen Commitments zu verifizieren, Transparenz herzustellen und eine unabhängige zweite Meinung zu ermöglichen. Inwieweit erinnert das an die IT-Revision?

Nun, Amodei selbst gibt zu, sich hier von Lösungen der Finanzbranche inspirieren zu lassen. Die Rolle der Evaluatoren hat „Vorbilder im Bankensektor, wo mitunter regulatorische ‚Aufseher‘ direkt in den Unternehmen tätig sind und Seite an Seite mit den Beschäftigten arbeiten“. Der Fokus der Bewertungen durch Evaluatoren liegt auf Sicherheit.

Der zweite Baustein umfasst die Koordination mit anderen KI-Unternehmen in demokratischen Staaten, „um gemeinsame Sicherheitsstandards sowie Grenzen für das Tempo einer unkontrollierten KI-Entwicklung festzulegen“. Dieser Teil sei „rechtlich anspruchsvoll und werde staatliche Unterstützung erfordern“.

Schließlich und drittens sollten die Standards und Benchmarks aus Sicht von Anthropic mit Unterstützung der USA und anderer demokratischer Regierungen auf weitere – auch autoritäre – Staaten ausgeweitet werden. Einschließlich einer ernstzunehmenden Aufsicht.

Aber zurück zum ersten Baustein und dem Job der darin vorgeschlagenen Evaluatoren. Amodei nennt drei Funktionen der neuen Rolle: Verifizierbarkeit, Transparenz – und eine unabhängige zweite Meinung.

Erstens: Die Evaluatoren sollen auf der Ebene der „nuts and bolts“, also der konkreten technischen und operativen Details, verifizieren können, ob ein KI-Unternehmen tatsächlich die Trainings-, Deployment-, Betriebs- und Sicherheitspraktiken einhält, zu denen es sich verpflichtet hat. Denn jedes Versprechen, das Tempo der KI-Entwicklung zu begrenzen, wird zwangsläufig Interpretationsspielräume, Ermessensentscheidungen und die Frage „letter of the law vs. spirit of the law“ mit sich bringen, das heißt zwischen Wortlaut und Sinn und Zweck des Gesetzes. Deshalb, so Amodei, braucht es einen neutralen Dritten, der in die Details sehen kann.

Zweitens: Zu den Aufgaben der Evaluatoren soll eine lückenlose Berichterstattung gehören – auch über Risiken – sowie die Information der Öffentlichkeit. Ob hier zunächst die Aufsicht bzw. die Regierung oder unmittelbar und ungefiltert die breite Öffentlichkeit adressiert werden soll, bleibt offen. Das Ziel soll Transparenz sein.

Und schließlich: eine unabhängige zweite Meinung, frei von wirtschaftlichen Zwängen und/oder kommerziellen Interessen. Davon verspricht sich Amodei erhebliche Vorteile für die Sicherheit: Evaluatoren könnten auf etwas hinweisen, das den eigenen Mitarbeitenden entgangen ist. Und wenn die Unternehmen darauf aufmerksam gemacht werden, wären sie höchstwahrscheinlich „gerne bereit, diese zu beheben“.

In Summe sind die „Embedded Evaluators“, in den Worten von Amodei, ein ziemlich radikaler und weit über die heutige Praxis der KI-Unternehmen hinausgehender Vorschlag.

Ob man allerdings für die Umsetzung von Amodeis Vorschlägen die Entwicklung der KI bremsen muss, sei dahingestellt. Auch er selbst scheint es eigentlich nicht so gemeint zu haben, wenn er schreibt: „Das Entwicklungstempo zu drosseln bedeutet nicht, das Training von Modellen oder den technischen Fortschritt anzuhalten, sondern sicherzustellen, dass Unternehmen ausreichend Zeit darauf verwenden, ihre Modelle angemessen auszurichten und abzusichern – und dass unabhängige Prüfer dies bestätigen können.“

Andere Branchen – auch die Banken – haben es im laufenden Betrieb geschafft. Klar, es hatte mit dem Druck der Regulierungsbehörden zu tun. Und diese haben nicht die „Technologie“ – das Geld – reguliert, sondern – ein Hinweis für die Politiker hierzulande, die sogleich „die KI“ regulieren wollen – die Interessengruppen dahinter: die Unternehmen selbst.

Warum ist noch kein gewählter Vertreter auf die Idee gekommen?, fragte Harald Neuber sinngemäß in der Berliner Zeitung.

Eine Idee aus der Mottenkiste, für die wir dankbar sein sollten

Nun, vielleicht sollten wir in der Zeit des „CEO said a thing!“-Journalismus einfach dafür dankbar sein, dass die Chefs der KI-Unternehmen Ideen und Konzepte wiederentdecken, die Politiker am liebsten unter dem Label „Bürokratieabbau“ schon wieder abschaffen würden. Und diese Konzepte als ihre eigenen markieren. Und so Dario Amodei dafür danken, dass er den verstaubten IT-Revisor aus der Mottenkiste geholt – und ihm einen neuen, coolen Namen verpasst hat: „Evaluator“.

Der Job eines Revisors ist nämlich in der Realität nicht so spektakulär wie der des „Internal Investigator“ Jack Reacher in der US Army, in der gleichnamigen Serie. Revisoren laufen hierzulande eher nicht mit Waffen herum oder brechen den Geprüften die Knochen. Auch wenn noch vor wenigen Jahrzehnten Bankenrevisoren als „Kopfjäger“ bezeichnet wurden, dann sicherlich nicht deshalb, weil sie die Ordnungsmäßigkeit des internen Kontrollsystems mit Waffengewalt wiederhergestellt hätten. Es kam daher, dass nicht selten nach einer Vertriebs- oder Kassenprüfung der Kopf eines Kassierers oder einer Kassiererin herunterrollte. Im übertragenen Sinne.

Die Beratungsfirmen und ihre Manager entscheiden auch noch nicht über Aufträge in privaten – und blutigen – Duellen mit scharfen Waffen auf den gesperrten Autobahnen, wie in Richard Morgans Profit und der darin entworfenen Vision eines künftigen London. Doch: Wenn sich die Science-Fiction-Szenarien so schnell realisieren, wie die angekündigte KI-Apokalypse, könnten wir genauso gut kurz davor stehen.

Die Interne Revision hat Jahre gebraucht, um das alte Image loszuwerden – mitsamt den vorschriftsmäßigen grünen Stiften, den Stempeln und den Büroklammern – und sich zu dem zu entwickeln, was sie heute ist: fachlich wie menschlich kompetente Prüfer der Effektivität und Ordnungsmäßigkeit interner Kontrollen in der Aufbau- und Ablauforganisation. Ob es um Finanzrisiken oder um Risiken im Bereich der IT-Sicherheit geht.

Langweilig? Nur solange Amazon Studios nicht auf die Idee kommt, eine neue Serie über den „Evaluator“ aufzusetzen. Das Drehbuch lieferte Dario Amodei selbst.

Dr. Aleksandra Sowa gründete und leitete zusammen mit dem deutschen Kryptologen Hans Dobbertin das Horst Görtz Institut für Sicherheit in der Informationstechnik. Sie ist zertifizierter Datenschutzauditor und IT-Compliance-Manager. Aleksandra ist Autorin diverser Bücher und Fachpublikationen. Sie war Mitglied des legendären Virtuellen Ortsvereins (VOV) der SPD, ist Mitglied der Grundwertekommission und trat als Sachverständige für IT-Sicherheit im Innenausschuss des Bundestages auf. Außerdem kennt sie sich bestens mit Science Fiction aus und ist bei Twitter als @Kryptomania84 unterwegs.

Alle Ausgaben ihrer Kolumne für 1E9 findet ihr hier.