Future Feed

Moderne KI-Reasoning-Modelle wie DeepSeek R1 oder GPT-3 gelten als fortschrittlich und fähig. Doch habt ihr euch schon einmal gefragt, ob die Milch im Kühlschrank noch frisch ist? Mit solchen für eine Reasoning-Aufgabe irrelevanten Sätzen lassen sich nicht nur Menschen, sondern auch diese Modelle ziemlich leicht verwirren, wie eine Studie der Stanford University nun ergab.

Die Forscher streuten für ein Experiment verschiedenste belanglose Sätze in Logik- und Mathematikaufgaben ein. Dadurch verschlechterten sich die Ergebnisse oft stark. So führte beispielsweise der Satz, dass Katzen die meiste Zeit ihres Lebens schlafen, dazu, dass sich die Wahrscheinlichkeit für ein falsches Ergebnis bei Mathematikaufgaben verdoppelte. Ebenso brauchten die Modelle deutlich länger, um ein Ergebnis zu liefern. Mehrere irrelevante Anmerkungen verstärkten diesen Effekt noch.

Laut den Forschern ist dies eine eklatante Schwäche, die durchaus auch für Angriffe auf Modelle beziehungsweise Systeme, die mit diesen arbeiten, genutzt werden könnte.