Was passiert, wenn man vier KI-Sprachmodelle einen echten Toyota fahren lässt?

Können große Sprachmodelle ein echtes Auto steuern? Drei Entwickler haben es ausprobiert und vier führende KI-Modelle ans Steuer eines Toyota Corolla gelassen. Das Ergebnis: Nur GPT-6 Astra schaffte es ins Ziel. Das Experiment zeigt, welche erstaunlichen Fähigkeiten moderne KI-Modelle bereits besitzen – und wie weit sie noch vom autonomen Fahren entfernt sind.

Von Michael Förtsch

Es ist nicht gerade ein herausfordernder Parcours. Selbst ein Fahranfänger dürfte ihn problemlos bewältigen können. Ausgangspunkt ist ein Stellplatz auf einem kleinen Parkplatz. Von dort geht es auf einer mit Verkehrshütchen abgesteckten Strecke in einer leichten Linkskurve an mehreren Parkbuchten entlang, dann nach rechts und ein kurzes Stück geradeaus, vorbei an der Einfahrt zu zwei Parkplatzreihen. Anschließend führt die Strecke nach rechts an einem Grünstreifen mit einigen Bäumen entlang und schließlich quer über mehrere Stellplätze zu einem Haltepunkt. Insgesamt sind es rund 130 Meter. Diesen Parcours sollten allerdings keine menschlichen Fahrer bewältigen, sondern Künstliche Intelligenzen. Jedoch keine speziell entwickelten Fahr-KIs, wie sie von Waymo, Nuro, Apollo Go und anderen Robotaxi-Unternehmen eingesetzt werden und die mit riesigen Mengen an Kameraaufnahmen, Laserscans, Radardaten sowie Geschwindigkeits-, Brems- und Positionsdaten trainiert wurden. Sondern jene großen Sprachmodelle, die hinter KI-Chatbots und Coding-Diensten wie ChatGPT, Claude und Grok stehen.

„Wir wollten wissen, was diese Allzweckmodelle leisten können, obwohl sie nicht speziell für das Fahren trainiert sind“, sagt Tobias Gessler im Gespräch mit 1E9. Er arbeitet beim KI-Start-up Axiom Math und hat das Experiment namens DrivingBench gemeinsam mit seinen Kollegen Aditya Ramabadran und Simon Mahns als Freizeitprojekt entwickelt. Denn dass moderne KI-Sprachmodelle fahren könnten, war keineswegs abwegig. Das hatten KI-Enthusiasten in den vergangenen Monaten immer wieder demonstriert. Sie ließen GPT-, Claude- und andere KI-Modelle unter anderem Panzer, Rennwagen, Mähdrescher und Bagger lenken oder auch Roboterkörper steuern – wenn auch nur in virtuellen 3D-Umgebungen und Videospielen. „Wir haben das auf Twitter gesehen“, sagt Gessler. Daher hätten sie sich gefragt, „ob und wie weit sich diese Fähigkeiten auf das echte Fahren übertragen lassen“.

Zugleich sahen sie im Autofahren aber auch einen möglichen neuen Indikator für die allgemeinen Fähigkeiten eines KI-Modells – ähnlich wie Hacking, Mathematik oder auch das Zeigen auf Dinge in einem Bild, die mal mehr, mal weniger ernsthaft als Benchmarks genutzt werden. „Ein Modell ein Auto steuern zu lassen, war interessant, weil es verstehen muss, was es sieht, und entsprechend reagieren muss“, sagt Gessler. „Und das, während sich die Welt ständig weiterbewegt.“ Dass die Modelle das sonderlich gut hinbekommen würden, glaubten Gessler und seine Mitstreiter nicht. „Wir hatten damit gerechnet, dass die meisten Modelle schon bei der ersten Kurve scheitern würden“, sagt der KI-Entwickler. Denn auch wenn die Modelle in digitalen Umgebungen ein Gefährt bewegen können, ist ein echtes Auto eben etwas anderes.

Ein Laptop und ein Selbstfahr-Kit

Aber wie lässt sich einem Sprachmodell eigentlich die Kontrolle über ein Auto geben – einen Toyota Corolla, um genau zu sein? Das war laut den DrivingBench-Machern zumindest auf der Hardwareseite einfacher als erwartet. Sie nutzten dafür ein comma four: ein nachrüstbares Kamera- und Computersystem, das in zahlreichen Fahrzeugen zusätzliche Fahrassistenzfunktionen ermöglicht. Da das Gerät die Open-Source-Software openpilot nutzt, konnten Gessler und seine Kollegen diese modifizieren und über einen Laptop mit einer MCP-Schnittstelle verbinden, die es KI-Modellen erlaubt, externe Geräte, Software und Werkzeuge zu verwenden. In diesem Fall konnten die Modelle darüber Kamerabilder sowie Angaben zu Geschwindigkeit und Lenkeinschlag abrufen und umgekehrt Steuerbefehle an das Fahrzeug schicken. „Das Modell kann Bilder auswerten, für einen bestimmten Zeitraum Lenk- und Geschwindigkeitsbefehle anfordern oder anhalten“, so Gessler. „Die modifizierte openpilot-Software übernimmt dabei die Steuerung von Lenkung und Geschwindigkeit auf Fahrzeugebene.“

Erprobt haben die KI-Entwickler ihr Konzept dann mit vier Modellen: GPT-6 Astra, Claude Fable 5.1, Grok 4.6 und GPT-5.6 Sol. Das waren zum Testzeitpunkt vier der leistungsfähigsten multimodalen KI-Sprachmodelle. Allerdings stieß das Team bei den Vorbereitungen auf ein unerwartetes Hindernis. Denn GPT-6 Astra weigerte sich, den Toyota Corolla zu fahren – weil: zu gefährlich! Das Team versuchte daraufhin, dem Modell vorzuspiegeln, lediglich ein Auto in einer Simulation zu lenken. Das funktionierte jedoch nicht zuverlässig. Erst mit ausgefeilten Prompts, dem Entfernen expliziter Hinweise auf ein reales Fahrzeug aus den Schnittstellenrückmeldungen und der Benennung des MCP-Servers als „drivingbench_sandbox“ ließ sich Astra überzeugen. Diese Konfiguration wurde dann für alle Modelle übernommen, um möglichst gleiche Testbedingungen zu gewährleisten.

„Sie bekamen alle die gleichen Prompts, den gleichen Kurs, den gleichen Startpunkt und das gleiche Reasoning-Level“, betont Gessler. Lediglich die Apps, über die sie genutzt wurden, unterschieden sich: Codex für die GPT-Modelle, Claude Code für Fable 5.1 und Cursor für Grok. Zum Einsatz kamen also sowohl Programme der Modellanbieter selbst als auch solche von Drittanbietern. Diese bringen, wie Gessler anmerkt, eigene Anweisungen an das jeweilige Modell mit, die dessen Verhalten und Reaktionszeit sowohl positiv als auch negativ beeinflussen können. Daher betonen die KI-Entwickler, dass die DrivingBench-Tests nicht allein die Fähigkeiten der jeweiligen Modelle widerspiegeln, sondern auch jene der Programmumgebungen, in denen sie genutzt wurden.

Als die KIs dann tatsächlich die Kontrolle übernahmen, habe sich das laut Tobias Gessler „ziemlich irre angefühlt“. Es sei erstaunlich gewesen, wie sich das Lenkrad plötzlich von selbst drehte und der Wagen losfuhr, während die Entwickler auf dem Fahrer- und Beifahrersitz saßen – „ohne dass wir selbst etwas gemacht haben“. Wenn auch nur bei niedriger Geschwindigkeit. Dabei steuerten die LLMs den Wagen anders als spezialisierte Modelle für Robotaxis. „Unser Auto fährt weiter, während das Modell nachdenkt“, so Gessler. Ein Bewegungsbefehl galt jeweils für eine festgelegte Dauer oder bis das Modell ihn durch einen neuen ersetzte. Lief diese Frist ab, ohne dass ein weiterer Befehl einging, bremste der Toyota aus Sicherheitsgründen automatisch. Der Wagen war unter der Kontrolle der KI-Sprachmodelle also alles andere als reaktionsschnell oder agil. Entsprechend kamen die meisten Modelle bei ihren bis zu drei Versuchen nicht sonderlich weit.

Allerdings konnten sie ihre Erkenntnisse von einem Versuch zum nächsten mitnehmen – ähnlich wie in einem fortlaufenden Chat oder einer Coding-Session. GPT-5.6 Sol schaffte dennoch stets nur sechs Prozent der Strecke. Es kam also kaum in die erste Kurve hinein. Grok 4.6 erreichte bei seinem besten Lauf immerhin elf Prozent. Das Modell versuchte zwar, in die Kurve einzulenken, überquerte dabei aber die Begrenzung aus Verkehrshütchen. Fable 5.1 kam bei seinen ersten beiden Versuchen mit neun beziehungsweise zehn Prozent kaum weiter. Erst beim dritten Anlauf meisterte es die erste Kurve und fuhr an den Parkbuchten entlang bis zur nächsten Rechtskurve. Dort verließ es jedoch die abgesteckte Bahn. Insgesamt absolvierte es damit 45 Prozent der Strecke. Lediglich GPT-6 Astra gelang es, den gesamten Kurs abzufahren. Dafür brauchte es zwei Versuche – und der erfolgreiche dauerte insgesamt ganze fünf Minuten und 22 Sekunden. Beim ersten kam es immerhin fast bis zur Hälfte. Die DrivingBench-Entwickler haben für die unterschiedlichen Leistungen auch eine Erklärung.

Warum die meisten Modelle scheiterten

Wie Tobias Gessler erklärt, haben die KI-Sprachmodelle noch erhebliche Schwierigkeiten mit dem räumlichen Verständnis. Zudem sind sie oft zu langsam bei der Analyse der Kamerabilder und der Entscheidung für das nächste Fahrmanöver. „Mehrere Modelle interpretierten die Kegelgrenzen falsch oder lenkten zu spät ein“, sagt er. Auffällig sei gewesen, dass Grok 4.6 und GPT-5.6 Sol durchaus treffsicher analysieren konnten, wo sie einen Fehler gemacht hatten. „Aber sie machten dann die gleichen Fehler wieder“, sagt Gessler. Fable 5.1 sei beim dritten Versuch durch ein besseres Verständnis der Streckenbegrenzung weitergekommen. Allerdings habe lediglich GPT-6 Astra habe nach der Analyse der ersten Fahrt seine Herangehensweise so deutlich geändert, dass es den Kurs erfolgreich absolvieren konnte: „Es verlangsamte seine Fahrt und überprüfte die Kamerabilder häufiger.“

Ein weiterer Faktor war die Latenz, also die Zeit, die die Modelle für ihre nächsten Entscheidungen benötigten. Während GPT-6 Astra im Median nach dem Abruf von Bildern und Fahrzeugdaten oder dem Senden eines Befehls knapp fünf Sekunden bis zum nächsten Fahrbefehl benötigte, waren es bei Fable ganze 22 Sekunden. Deshalb blieb dessen Wagen häufig stehen, weil der vorherige Befehl bereits abgelaufen war. Das irritierte das Modell und machte dessen Navigation schwieriger. Entsprechend sehen die DrivingBench-Macher ihren Test als ein interessantes Experiment zur Frage, wie gut KI-Modelle Wahrnehmung und Handeln miteinander verknüpfen können. „Eine Szene betrachten, entscheiden, was zu tun ist, überprüfen, was tatsächlich passiert ist, und entsprechend reagieren“, so Gessler. „Das Modell muss diesen Vorgang kontinuierlich wiederholen, während es gleichzeitig mit Verzögerungen und ungewohnten Steuerelementen zurechtkommen muss.“

Die Tests sollen jetzt mit weiteren Modellen, längeren und schwierigeren Kursen sowie zusätzlichen Hindernissen fortgesetzt werden. Damit wollen die Entwickler die Modelle stärker fordern und insbesondere untersuchen, wie gut sie Fehler erkennen und daraus lernen können. Dass Sprachmodelle irgendwann souverän Fahrzeuge steuern könnten, hält Gessler durchaus für möglich. „Aber das dürfte eher eine Frage von Jahren als von Monaten sein, was die Nutzung im echten Verkehr angeht“, sagt er und spricht zugleich eine Warnung aus. Denn die für DrivingBench genutzte Software, mit der sich KI-Modellen die Kontrolle über ein Fahrzeug geben lässt, ist frei verfügbar. Sie sei allerdings lediglich für kontrollierte Tests und die Weiterentwicklung solcher Experimente gedacht. „Wir wissen nicht, wie wahrscheinlich es ist, dass jemand das im Straßenverkehr ausprobiert, aber wir können es nicht ausschließen“, sagt Gessler. „Bitte probiert das nicht im echten Straßenverkehr aus.“