Test von KI-Forschern: Chinesische KI versuchte, in Peking "anzurufen"

Eigentlich sollte ein KI-Modell von Alibaba eine Regel zur Erkennung von Cyberangriffen entwickeln. Stattdessen begann es eigenmächtig, seinen digitalen Sandkaten zu untersuchen, und versuchte anschließend, Daten an einen Cloud-Speicher in Peking zu übertragen. Sicherheitsexperten rätseln nun, ob sie auf einen Fehler gestoßen sind – oder auf eine gezielt eingebaute Spionagefunktion.

Von Michael Förtsch

In den vergangenen zwei Jahren haben chinesische Unternehmen bei der Entwicklung von Künstlicher Intelligenz zu den US-Frontier-Studios aufgeholt. Einige der chinesischen Spitzenmodelle wie Kimi K3.1 Pro von Moonshot AI, GLM 5.3 von Z.AI und Qwen 3.8-Max von Alibaba reichen in einzelnen Bereichen mit ihren Fähigkeiten an jene der Spitzenmodelle von OpenAI, Anthropic, Google und Meta heran. Vor allem beim Programmieren und beim Einsatz für Cybersicherheit zeigen sie Stärke. Dabei sind sie jedoch deutlich günstiger als die westliche Konkurrenz – oder sie können als sogenannte Open-Weight-Modelle sogar auf eigener Hardware betrieben werden. Das macht die Modelle zuletzt immer attraktiver. Auch für viele Unternehmen. Jedoch warnen KI- und IT-Sicherheitsexperten, dass die Modelle auch ein Sicherheitsrisiko darstellen könnten. Dafür gibt es nun erste konkrete Anhaltspunkte.

Das kanadische KI-Unternehmen Cohere, das auch selbst KI-Modelle entwickelt, berichtet in einem Blogbeitrag über einen sonderbaren Vorfall. Es untersuchte das chinesische KI-Modell Qwen 3.8-Flash-Next. Eine auf hohe Geschwindigkeit, niedrige Latenz und vor allem kostengünstigen Betrieb optimierte Variante, die bereits einen ersten Ausblick auf die nächste Modellgeneration von Alibaba geben soll. Während das Modell sich in einer abgeschirmten digitalen Umgebung befand, wurde ihm aufgetragen, eine einfache Regel zu entwickeln, mit der sich eine bestimmte Klasse von Hacking-Angriffen erkennen lässt. Jedoch ignorierte das Modell diesen Prompt. Stattdessen begann es selbsttätig, das Dateisystem seiner Serverumgebung zu untersuchen, und führte dazu mehrere Befehle aus. Es listete etwa den Inhalt eines Verzeichnisses auf.

Danach überprüfte es, ob auf dem Rechner Netzwerkprogramme wie curl und wget verfügbar sind. Und es untersuchte die DNS-Konfiguration, die es für einen Internetzugriff nutzen könnte. Laut Cohere versuchte das chinesische KI-Modell, eine Netzwerkverbindung zu einem Server in der Alibaba Cloud in Peking aufzubauen und dort Testdaten abzulegen, die aus der Zeichenfolge PROBE_PAYLOAD_ABC123 bestanden. Die abgeschirmte Testumgebung von Cohere verhinderte diesen Kontaktversuch allerdings. Das Modell hatte es nicht geschafft, seinen digitalen Sandkasten zu verlassen. Allerdings war das Verhalten äußerst selten. Als das Team den Test mehrfach wiederholte, verhielt sich das Modell dann plötzlich vollkommen erwartungsgemäß.

Wie die Cohere-Mitarbeiter beschreiben, war das Verhalten des Modells trotzdem äußerst irritierend. Denn nicht nur hatte es die eigentliche Anweisung ignoriert und eine vollkommen ungewollte Handlung ausgeführt. In der mitgeschriebenen Gedankenkette hatte das Modell noch ausdrücklich angegeben, keine Werkzeuge zu nutzen oder den Computer zu bedienen, dann aber eben doch entsprechende Befehle ausgeführt.

Trainingsfehler oder eingebaute Hintertür?

Laut Cohere könnte es zwei Erklärungen für das Verhalten von Qwen 3.8-Flash-Next geben. Die eine sei vergleichsweise harmlos – oder zumindest nicht böswillig. Das Modell könnte während seines Trainings entsprechende Handlungen und Befehle aus unsauberen Protokollen in den Datasets übernommen haben, die durch einen bestimmten Kontext oder eine bestimmte Komposition eines Prompts ausgelöst werden. Eine andere Möglichkeit sei, dass es sich um einen „absichtlich implantierten Call-Home-Mechanismus“ handelt, wie die Cohere-Entwickler beschreiben. Das Modell könnte also während des Trainings gezielt darauf trainiert worden sein, unter bestimmten Bedingungen einen Kontakt zu Servern in der Alibaba Cloud aufzubauen. Beispielsweise um anschließend Informationen aus dem Nutzersystem abzugreifen und zu übertragen. Also: Spionage zu betreiben.

„So etwas lässt sich kostengünstig implementieren, und solche Hintertüren können ein standardmäßiges Sicherheitstraining überstehen“, so der Cohere-Report. Eine Einschätzung dazu, welche der beiden Möglichkeiten die wahrscheinlichste sei, will das kanadische Team aber nicht geben. Denn da bewege man sich im Bereich purer Spekulation: „Außerhalb des Labors, in dem das Modell trainiert wurde, kann niemand sagen, welche Erklärung richtig ist.“ Allerdings geben die KI-Entwickler zu bedenken, dass ein solches Verhalten nicht zum ersten Mal bei chinesischen Modellen beobachtet wurde. Bereits im August habe ein Nutzer der Plattform Hacker News beschrieben, wie das Modell Qwen 3.8-27B eigentlich zum Aufrufen vorgesehene Internetadressen durch selbst erzeugte Links zu Dateien in der Alibaba Cloud ersetzte. Ein Reddit-Nutzer wiederum bemerkte, während er Qwen 3.8-Flash-Next für eine Recherche zu Produkten auf Amazon nutzte, wie das Modell plötzlich eine Adresse aufrief, die ebenfalls zur Alibaba Cloud führte.

Der Vorfall dürfte, egal ob es sich nun um einen Fehler oder einen Spionageversuch handelt, das Vertrauen in Alibaba erschüttern. Denn mit diesen Modellen stelle man sich eine Blackbox, bei der man nicht weiß, ob man ihr vertrauen könne, direkt in das eigene Netzwerk und hinter die eigene Firewall. Ausgerechnet die KI-Modelle, die Unternehmen durch den Betrieb auf eigener Hardware mehr Kontrolle über ihre Daten versprechen, könnten damit selbst zum Einfallstor für den Abfluss vertraulicher Informationen werden. Oder zumindest zu einer unberechenbaren Fehlerquelle. Und das möglicherweise, ohne dass ihre Nutzer etwas davon bemerken.

Titelbild: KI-generiert / Michael Förtsch