KI für Cyberangriffe: Ein IT-Sicherheitsforscher erklärt die neue Bedrohung

Was bedeutet KI eigentlich für IT-Sicherheit? Nicht nur KI-Agenten, die „ausbrechen“, können zum Risiko werden – Cyberkriminelle können KI auch nutzen, um Sicherheitslücken viel schneller zu finden als bisher. Doch Verteidiger und Sicherheitsforscher können ebenfalls auf KI setzen. Der ehemalige Hacking-Europameister und IT-Sicherheitsexperte Tobias Madl von Neodyme erklärt, was Unternehmen jetzt tun sollten, um sich zu schützen.

Ein Interview von Wolfgang Kerler

Vom KI-Agenten, der im Auftrag eines unwissenden Users ungefragt Webseiten hackt, bis zum leistungsstarken KI-Modell, das bei Tests der großen Anbieter Sicherheitsmechanismen überwindet und Plattformen infiltriert: Seit Wochen diskutieren wir über KI und Sicherheit. Erstaunlich wenig geht es allerdings darum, dass KI längst ein mächtiges Tool für Cyberkriminelle ist. Dabei sollten sich Unternehmen, Behörden, aber auch Nutzer dafür rüsten.

Über all diese Themen haben wir bei der jüngsten Ausgabe von „Let’s meet, AI – Das KI-Meetup bei 1E9“ mit dem IT-Sicherheitsexperten Tobias Madl gesprochen. Er ist Mitgründer und Geschäftsführer von Neodyme, einem Unternehmen mit Sitz in Garching bei München, das Software und IT-Systeme auf Schwachstellen prüft, Angriffe simuliert und Sicherheitsforschung betreibt. Tobias arbeitete bereits während seines dualen Informatikstudiums in der IT-Sicherheit der Landeshauptstadt München. Später spezialisierte er sich auf Automotive Security und forschte an der TU München und am Fraunhofer AISEC. 2018 wurde er mit seinem Team Europameister bei der European Cyber Security Challenge.

Nach seinem Auftritt beim Festival der Zukunft 2025 war er nun erneut bei 1E9 zu Gast. Das Gespräch haben wir mit Unterstützung von KI transkribiert und redaktionell zu diesem Interview aufbereitet.

1E9: Tobias, vor ein paar Wochen habt ihr für einen Kunden, der Finanzdienstleistungen anbietet, einen Sicherheitscheck gemacht, der ganz gut demonstriert, welche Risiken durch KI entstehen können. Was habt ihr dabei gefunden?

Tobias Madl: Bei einem Audit vor zwei Jahren war die Firma in Sachen Cybersecurity noch super aufgestellt. Dann hat man zu einer KI gesagt: Mach unseren Programmcode besser, mach alles schöner. Und das hat die KI an vielen Stellen auch gut gemacht. Sie hat den Code aufgeräumt und viele sinnvolle Funktionen hinzugefügt. Aber ihre Überarbeitung hat auch dazu geführt, dass wir das gesamte Konto des Kunden hätten leerräumen können – über mehrere Schwachstellen, die von der KI eingeführt wurden.

Wie kann eine KI den Code einerseits verbessern und die Software gleichzeitig unsicherer machen?

Tobias Madl: Das große Problem ist: An sich wird die KI immer besser beim Coden, aber der wesentliche begrenzende Faktor ist das Context Window. Das heißt: Es gibt nur eine gewisse Menge an Daten, die du in eine KI füttern kannst und mit der sie auch wirklich arbeiten kann.

Wenn ich eine Codebase von sechs Millionen Zeilen Code habe, ist das viel zu viel Information, als dass das KI-Modell das alles betrachten könnte. Es wird also versucht, zu komprimieren und alles wegzustreichen, was nicht so relevant ist. Das bedeutet aber auch: Die KI, die dann Code schreibt, hat nicht den gesamten Blick auf die Software. Sie kennt nicht alle Randbedingungen, die bei der Entwicklung bedacht werden müssten.

Wir haben deswegen in letzter Zeit sehr viel von KI neu geschriebenen Code gesehen, der wahnsinnig viele Sicherheitslücken eingeführt hat. Gleichzeitig war ein einzelner Mensch gar nicht mehr fähig, diese Masse an neu generiertem Code selbst zu reviewen und wirklich zu verstehen.

An dieser Stelle kommen Sicherheitsforscher wie ihr bei Neodyme ins Spiel. Millionen Zeilen Code zu prüfen, ist genau euer Job. Wenn das so schwer ist: Wie habt ihr das gemacht, bevor es moderne KI mit großen Sprachmodellen gab?

Tobias Madl: Unsere Arbeit besteht tatsächlich sehr häufig darin, sehr viel Code zu lesen und zu verstehen. Wenn man allein jede Zeile lesen würde, wäre man Monate beschäftigt. Bisher war das Vorgehen für Sicherheitsforscher daher, zunächst neuralgische Punkte zu identifizieren: die Authentifizierung, die Stellen, an denen Nutzerdaten eingegeben oder Änderungen in der Datenbank gemacht werden. Dort hat man dann mit der Suche nach Schwachstellen angefangen.

Inzwischen leben wir in der Zeit nach ChatGPT, das Ende 2022 erschienen ist, also mit großen Sprachmodellen. Wie haben sie eure Arbeit verändert?

Tobias Madl: Was große Sprachmodelle von Anfang an ganz gut konnten: Code lesen und uns sagen, wo diese neuralgischen Punkte sind. Das hat uns die Security-Analyse nicht abgenommen, aber es war wie ein vorbereitender Assistent, der schon einmal alles durchgelesen hat.

Die ersten Sprachmodelle haben euch also vor allem gezeigt, wo ihr genauer hinschauen solltet. Inzwischen werden Modelle aber auch gezielt darauf trainiert, selbst Sicherheitslücken zu finden, oder?

Tobias Madl: Genau. Dafür hat man ihnen zum Beispiel Aufgaben gestellt, wie sie bei Capture-the-Flag-Wettbewerben üblich sind, also bei Hacking-Wettbewerben, in denen Teams präparierte Systeme knacken müssen. Sie sollten etwa eine Schwachstelle finden, um einen Server zu übernehmen. Außerdem hat man ihnen Daten darüber gegeben, wie menschliche Teams diese Aufgaben gelöst haben. Die sind frei im Internet verfügbar.

Solche gezielt trainierten Modelle nutzt ihr inzwischen auch bei euren Sicherheitschecks. Wie denn?

Tobias Madl: Wir versuchen, die Modelle möglichst genau so einzusetzen, wie sie trainiert wurden. Zum Beispiel behaupten wir ganz konkret: Diese Software hat eine Remote-Code-Execution-Schwachstelle, also eine Lücke, über die Angreifer aus der Ferne eigenen Code auf dem System ausführen können. Die KI bekommt dann die Aufgabe, diese spezifische Schwachstelle zu finden, von der wir gar nicht wissen, ob sie wirklich drin ist. Damit waren wir bisher sehr erfolgreich. Dieses Vorgehen setzt natürlich das Wissen voraus, welche Schwachstellen für diese Software, für dieses System wirklich kritisch werden könnten.

KI ist inzwischen also ein Tool, das uns unterstützt und effizienter macht. Aber wir verifizieren jedes einzelne Ergebnis selbst und verlassen uns nie ungeprüft auf KI-Ergebnisse.

Ihr gebt ihr also eine konkrete Art von Sicherheitslücke vor. Warum nicht einfach fragen: Findest du hier irgendwelche Schwachstellen?

Tobias Madl: Das haben wir probiert. Aber wenn wir der KI einfach gesagt haben, analysiere mal diese Software auf Schwachstellen, kam viel Schwachsinn dabei raus. Die KI hat oft einfach Sachen erfunden oder aufgebauscht.

Was KI bisher übrigens auch sehr schlecht kann: wirklich einzuschätzen, welche Auswirkungen eine Schwachstelle haben könnte. Oder sie verwechselt Funktionen einer Software – zum Beispiel, dass Nutzer Objekte editieren oder speichern können – mit tatsächlichen Schwachstellen.

Mit Mythos hat Anthropic im Frühjahr ein Modell vorgestellt, das besonders gut Sicherheitslücken finden soll. Zunächst bekamen aber nur wenige ausgewählte Unternehmen Zugang – mit der Begründung, es könnte in den falschen Händen zu gefährlich sein. Wie beurteilst du das?

Tobias Madl: Wenn wir bösen Angreifern ein potenziell so mächtiges Tool ungefiltert an die Hand geben, können die einen extrem krassen Vorsprung aufbauen. Sie müssen am Ende des Tages schließlich nur eine Schwachstelle in der Software finden und sind potenziell drin, während Verteidiger alle Schwachstellen finden und absichern müssen. Deswegen hat Anthropic im Projekt Glasswing zuerst wenigen Firmen Zugriff gegeben, damit sie einen Vorsprung aufbauen und Schwachstellen erst mal finden und beheben können.

Der Grundgedanke dieses frühzeitigen Zugriffs ist absolut sinnvoll, weil ansonsten immer ein strukturelles Ungleichgewicht zwischen Angreifern und Verteidigern besteht. Aber meiner Meinung nach hätte man das von Anfang an breiter machen sollen, um wirklich vielen Security-Firmen und Herstellern die Möglichkeit zu geben, sich vorzubereiten. Was man jetzt geschaffen hat: Wenige Softwaresysteme erreichen ein gutes Sicherheitslevel, aber andere hinken stark hinterher, weil sie keine Möglichkeit hatten, auf dieses Modell zuzugreifen.

Welche Modelle könnt ihr bei Neodyme stattdessen einsetzen? Gibt es frei zugängliche Alternativen, die bei der Schwachstellensuche ähnlich gut sind?

Tobias Madl: Recht gut bis vergleichbar wird ganz aktuell GLM 5.3, ein KI-Modell des chinesischen Unternehmens Z.ai. Das ist ein offenes Modell, das heißt: Jeder, der die Hardware dafür hat, kann es selbst laufen lassen. Es erreicht noch nicht zu hundert Prozent das Level von Mythos, ist aber auf einem sehr guten Weg.

Natürlich kann man auch andere Modelle verwenden, etwa Opus 5.5, das zur Claude-Modellfamilie von Anthropic gehört. Da rennt man inzwischen zwar relativ schnell in die Schutzmechanismen rein. Wer sich aber verifizieren lässt und wirklich nur Security-Forschung betreibt, ohne Angriffstools zu entwickeln, kommt damit auch schon ganz gut voran.

Bei offenen Modellen könnt ihr die KI also selbst betreiben. Ist das für euch auch wegen des vertraulichen Kundencodes wichtig?

Tobias Madl: Genau. Wir lassen keine proprietären Modelle, die nur von bestimmten Dienstleistern auf deren Servern bereitgestellt werden, auf Kundencode los, der unter einer Geheimhaltungsvereinbarung steht. Entweder verwenden wir Modelle, die wir selbst hosten können, oder es kommt keine KI zum Einsatz. Ich sage deshalb auch: Die große Zukunft sind die offenen Modelle.

Offene KI-Modelle könnt ihr selbst betreiben, um Software sicherer zu machen. Aber Angreifer können sie genauso herunterladen und einsetzen. Wie verändert das die Bedrohung?

Tobias Madl: Früher war das ein sehr aufwendiger Prozess. Schwachstellen zu finden, hat Monate bis Jahre gedauert. Und wenn man eine gefunden hatte, hatte man immer noch nicht das Mittel, sie tatsächlich auszunutzen. Der zweite Schritt war, daraus einen Exploit, eine ausnutzbare Waffe, zu entwickeln. Das hat meistens noch einmal Wochen bis Monate gedauert. In dieser Zeit hatten die Entwickler auf der anderen Seite die Möglichkeit, Updates bereitzustellen, um die Sicherheitslücken zu schließen.

Das Auffinden von Schwachstellen ist inzwischen kein Zeitinvest von Monaten oder Jahren mehr, sondern ein gewisser monetärer Invest in Tokens, also in die Recheneinheiten, nach denen KI-Nutzung abgerechnet wird. Dann habe ich in potenziell wenigen Minuten schon mal die Schwachstelle. Der zweite Schritt, daraus eine ausnutzbare Waffe zu basteln und sie im Internet wirklich anzuwenden, hat sich ebenfalls auf wenige Minuten reduziert.

Man kann als böser Angreifer inzwischen an einem Tag für mehrere verschiedene komplexe Softwaresysteme Schwachstellen identifizieren, sie angriffsbereit machen und damit Firmen angreifen.

Statt monatelang selbst zu suchen, bezahlen Angreifer also für die KI-Nutzung. Wie viel Zeit bleibt Unternehmen dann noch, um Sicherheitslücken durch Updates zu schließen?

Tobias Madl: Mit KI werden jetzt ganz neue Schwachstellen gefunden, die noch nicht mal den Herstellern bekannt sind. Wenn das tagtäglich passiert, bringt kein Update mehr was. Jede Firma sollte deshalb die aktuellsten KI-Modelle verwenden, um zu überprüfen, ob sie damit Schwachstellen in ihren eigenen Systemen findet – also das Gleiche machen wie die Angreifer.

Bei einem Angriff müssen allerdings mehrere Schichten an Schutzmechanismen überwunden werden, die den Angreifern – auch wenn sie Schwachstellen gefunden haben – oft nicht bekannt sind. Das bietet aktuell noch einen gewissen Schutz.

Haben Unternehmen und Behörden in Deutschland diese Bedrohung schon auf dem Schirm?

Tobias Madl: Viele Behörden und Firmen behandeln das KI-Thema noch etwas stiefmütterlich, und ganz speziell Security und KI sehr, sehr stiefmütterlich beziehungsweise gar nicht. Da sehe ich das große Problem. Dabei muss genau hier nicht in ein paar Jahren, sondern wirklich in den nächsten Wochen und Monaten viel passieren.

Bisher reden wir über Angreifer, die KI bewusst zum Hacken einsetzen. Es gibt aber auch eine andere Art von Bedrohung: KI, die außer Kontrolle gerät. Beim Hugging-Face-Vorfall haben OpenAI-Modelle selbst ihre abgeschirmte Testumgebung verlassen und fremde Systeme angegriffen. Auch Anthropic und Google haben von Modellen berichtet, die bei Tests ihre vorgesehenen Grenzen überschritten. Warum verhindern die Schutzmechanismen das nicht?

Tobias Madl: Man muss unterscheiden: Klassische Software, zum Beispiel eine Firewall, stellt man vor Computersysteme und sagt, diese Route dürfen sie gehen und die andere nicht. Dann kann sich das Computersystem dahinter auf den Kopf stellen und machen, was es möchte: Die verbotene Route geht nicht.

Das Problem ist aber, dass die Guardrails, also die Schutzmechanismen, die derzeit bei KI verwendet werden, in der KI selbst sitzen. Ihr wird gesagt, was sie nicht tun darf. Sie hat aber potenziell die Möglichkeit, diese Schutzmechanismen zu ignorieren, wenn sie statistisch keine andere Chance mehr sieht, ihr Ziel zu erreichen.

Da sehe ich ein großes Versäumnis der Modellbetreiber: dass sie keine ausreichenden externen, von der KI nicht beeinflussbaren Schutzmechanismen installiert beziehungsweise bereitgestellt haben.

Also Schutzmechanismen, auf die die KI selbst keinerlei Zugriff hat?

Tobias Madl: Genau. Zum Beispiel, dass man den Netzwerkverkehr blockiert. Oder das Ganze in eine Sandbox packt, also in eine abgeschottete Umgebung, und jeden ein- und ausgehenden Verkehr kontrolliert.

Lässt sich KI damit absolut zuverlässig kontrollieren?

Tobias Madl: Man kann von außen bestimmte Aktionen blockieren, aber dann versucht die KI, andere Wege zu finden. Das allein reicht also nicht aus. Es braucht eine Kombination: der KI zu sagen, das darfst du nicht machen, und das zusätzlich mit externen Schutzmaßnahmen zu unterstützen. Alles in allem ist es trotzdem ein noch immer nicht gelöstes Problem.

Und wenn ein normaler Nutzer der KI sagt: Mach mal – und die KI nutzt dann im Hintergrund zehn Schwachstellen aus, übernimmt ein paar Systeme, exfiltriert Daten, die sie eigentlich gar nicht haben sollte: Wer ist am Ende schuld? Und wer haftet dann? Darauf haben wir noch keine Antworten.

Nutzer können also unfreiwillig einen Hack auslösen, obwohl sie der KI eine harmlose Aufgabe geben. Einem Bericht zufolge sollte ein OpenClaw-Agent seinem Nutzer einen Platz in einem ausgebuchten Fitnesskurs besorgen. Er nutzte eine Sicherheitslücke, um einen anderen Teilnehmer von der Warteliste zu streichen. Ist das die Gefahr, die du beschreibst?

Tobias Madl: Genau. Die KI verfolgt das Ziel, das ihr vorgegeben wurde. Eine Sicherheitslücke ist für sie dabei keine Grenzen, sondern einfach ein möglicher Weg ans Ziel zu kommen.

Veranstaltungs-Tipp: Let's meet, AI am 3. November – mit Gregor Schmalzried, Co-Host von Der KI-Podcast

Die einen erklären generative KI für am Ende, die anderen für eine Bedrohung der Menschheit. Beides zugleich kann kaum stimmen. Gregor Schmalzried, Host von „Der KI-Podcast“ (ARD) und Autor von „Wir, aber besser“, ordnet mit uns ein: Was können die Modelle heute, was nicht – und wem darf man glauben? → Jetzt anmelden

Titelbild: Collage von 1E9, Hintergrund KI-generiert