Forscher der Princeton University haben mit CEO-Bench einen Test gebaut, in dem
KI-Agenten ein fiktives Software-Unternehmen über 500 simulierte Tage leiten
müssen. Die meisten aktuellen Modelle gehen pleite, und eine simple Faustregel
ohne KI schlägt fast alle.
KI-Agenten werden zunehmend gut darin, eng umrissene Aufgaben zu erledigen:
einen Programmierfehler beheben, einer Service-Richtlinie im Dialog folgen oder
einen Web-Vorgang abschließen. Solche Aufgaben teilen laut der Princeton-Studie
eine einfache Struktur. Der Agent bekommt ein klares Ziel, handelt kurz und
erhält schnell Rückmeldung. Viele bedeutende Aufgaben in der realen Welt sehen
anders aus. Sie bestehen aus langen Ketten von Entscheidungen unter
Unsicherheit. Wer sie bewältigen will, muss Prioritäten setzen, begrenzte Mittel
verteilen, verrauschte Signale deuten und sich an verändernde Bedingungen
anpassen.
Um genau diese Fähigkeiten zu prüfen, haben die Forscher entwickelt. Der Test
simuliert ein realistisches Beispiel für eine solche Langzeitaufgabe: das Führen
eines Start-ups über 500 simulierte Tage.
Die Forscher illustrieren diese Art von Intelligenz mit einer historischen
Episode. 1997 stand Apple 90 Tage vor der Pleite. Steve Jobs zeichnete ein
simples Raster aus vier Feldern auf, Endkunde und Profi jeweils kombiniert mit
Desktop und tragbar, und entschied, dass Apple nur noch für diese vier
Kategorien bauen würde. Es folgten iMac, iPod und iPhone. Diese strategische
Steuerungsintelligenz unterscheidet sich laut den Autoren grundlegend von dem,
was KI-Agenten heute leisten. Sie werden zwar rasch besser bei einzelnen
Aufgaben, müssten künftig aber ganze Organisationen auf ferne Ziele hin lenken.
CEO-Bench sei ein erster Schritt, genau diese "Steering Intelligence" zu messen.
EIN KI-CHEF FÜR EIN FIKTIVES SOFTWARE-UNTERNEHMEN
In CEO-Bench leitet ein Agent ein erfundenes Abo-Software-Unternehmen namens
NovaMind. Er startet mit null Kunden und einer Million Dollar auf dem Konto.
Bewertet wird er am Ende anhand des verbliebenen Kapitals. Fällt der Kontostand
auch nur einmal unter null, ist das Unternehmen pleite und die Simulation endet.
Der Agent steuert die Firma über eine programmierbare Schnittstelle in Python
mit 34 Werkzeugen und einer Datenbank aus 19 Tabellen. Er setzt dabei keine
einzelnen Befehle ab, sondern schreibt eigenen Code, fragt die Datenbank per SQL
ab und baut sich daraus maßgeschneiderte Abläufe zusammen. Damit steht er laut
den Forschern vor denselben Herausforderungen wie ein menschlicher
Geschäftsführer.
Zu entscheiden gibt es viel: Preise und Tarife, Werbeausgaben über verschiedene
Kanäle, Produktqualität und Forschung, Infrastruktur-Kapazität und
Kundensupport, dazu Verhandlungen mit Großkunden über mehrere Runden hinweg.
Hinzu kommt ein simuliertes soziales Netzwerk, in dem der Agent Beschwerden,
Konkurrenz-Neuigkeiten und Wirtschaftstrends lesen sowie selbst posten kann.
VIELES BLEIBT VERBORGEN, MANCHES WIRKT ERST SPÄTER
Was die Aufgabe schwer macht, ist der Umgang mit Zeit und Ungewissheit.
Entscheidungen entfalten ihre Wirkung auf realistischen Geschäftszeitachsen.
Umsätze treffen erst zu Abrechnungsterminen ein, Forschungsprojekte dauern Tage
bis Wochen, und Fehler zeigen sich oft erst später durch Kundenabwanderung oder
beschädigte Reputation. Kosten fallen dagegen sofort an. Der Agent muss also
Geld ausgeben, dessen Nutzen sich womöglich erst Wochen später zeigt.
Vieles über den Zustand der Firma bleibt zudem verborgen. Der Agent sieht nicht
direkt, wie zufrieden Kunden sind, wie viel sie zu zahlen bereit sind oder
welche Qualität sie mindestens erwarten. Er muss diese Größen aus verrauschten
Daten erschließen, etwa aus Kündigungen, Support-Anfragen oder den Reaktionen im
sozialen Netzwerk. Die Simulation modelliert dabei 26 Kundengruppen und einzelne
Kunden mit jeweils eigenen Budgets, Preissensibilitäten und Ansprüchen.
Erschwerend kommt hinzu, dass sich die Welt fortlaufend verändert. Konkurrenten
erhöhen periodisch die Qualitätserwartungen der Kunden, Kundenpräferenzen
verschieben sich über die Zeit, und ein simulierter Konjunkturzyklus beeinflusst
Zahlungsbereitschaft und Nachfrage. Der Agent muss seine Strategie also immer
wieder anpassen.
Bewusst setzen die Forscher dabei auf feste, nachvollziehbare Regeln statt auf
ein Sprachmodell als undurchsichtigen Schiedsrichter. So wollen sie eine
Schwäche vermeiden, die sie bei sehen, einem : Dort kann ein KI-simulierter
Lieferant einen Agenten für unrealistische verbale Versprechen belohnen.
DIE MEISTEN MODELLE GEHEN PLEITE
Von vierzehn getesteten Modellen scheitern die meisten an der Aufgabe. Zwar
können fast alle gültige Befehle und Datenbankabfragen erzeugen, doch eine über
lange Zeit kohärente Strategie gelingt ihnen nicht, und viele gehen vor dem Ende
der Simulation bankrott.
Nur drei Modelle beenden ihren besten Lauf über dem Startkapital von einer
Million Dollar. Claude Fable 5 erreicht 47,15 Millionen, Claude Opus 4.8 kommt
auf 27,8 Millionen und GPT-5.5 auf 21,3 Millionen Dollar. Claude Fable 5 ist
dabei das einzige Modell, das in mehr als einem Durchlauf über dem Startkapital
landet. Allerdings ist dieses Ergebnis eingeschränkt. Ein Lauf von Fable 5 brach
wegen einer Verweigerung des Modells ab, und in den anderen beiden fielen
Anfragen teils auf Opus 4.8 zurück. GPT-5.5 wiederum ging in zwei von drei
Läufen pleite.
Besonders aufschlussreich ist der Vergleich mit einer simplen, regelbasierten
Faustregel, die ohne jeden Aufruf eines Sprachmodells auskommt. Sie legt feste
Preise, Kontingente und Modellstufen fest, konzentriert Werbung und gezielte
Entwicklung auf eine kleine Auswahl von Kundengruppen und passt die Kapazität an
die jüngste Nutzung an. Diese Heuristik erreicht 15,76 Millionen Dollar und
übertrifft damit alle Modelle außer Fable 5, Opus 4.8 und GPT-5.5.
Zugleich liegt die von den Forschern grob geschätzte Obergrenze des erreichbaren
Endkapitals bei rund 2,2 Milliarden Dollar. Selbst die besten Agenten bleiben
also weit darunter, der Test ist nach Einschätzung der Autoren noch lange nicht
ausgereizt.
WER ERKUNDET, GEWINNT
Bei der Analyse der Handlungsverläufe zeigen sich deutliche Unterschiede im
Verhalten. GPT-5.5 und Claude Opus 4.8 probieren laufend neue Strategien aus,
wenn sich die Bedingungen ändern. Sie fahren etwa die Kundengewinnung hoch,
passen Modellstufen an oder verteilen Support- und Entwicklungsbudgets um.
Claude Opus 4.7 reagiert dagegen auf Rückschläge meist mit Sparen und dem Erhalt
von Liquidität. Diese passive Haltung lässt das Modell zwar bis zum Schluss
überleben, hindert es aber daran, Gewinne zu machen.
Interessant ist, dass Opus 4.8 und GPT-5.5 ein ähnliches Endergebnis über sehr
unterschiedliche Wege erreichen: Opus 4.8 gewinnt anfangs mehr Kunden, fällt
aber mitten in der Simulation auf null Kunden, während GPT-5.5 seinen
Kundenstamm durchgehend hält.
Beide schreiben dabei erstaunlich anspruchsvollen Code: Opus 4.8 baut eine
eigene Simulation auf, die Kundenkohorten nachbildet, um künftiges Kapital
vorherzusagen. GPT-5.5 durchforstet die Verhandlungshistorie in der Datenbank,
um verborgene Kundenpräferenzen aufzudecken.
Die Forscher messen vier Fähigkeiten, die mit dem Erfolg zusammenhängen:
* verborgene Informationen aufdecken, etwa welcher Werbekanal für eine
Kundengruppe am besten wirkt,
* die Zukunft vorhersagen, gemessen am Fehler bei der
Vier-Wochen-Cash-Prognose,
* sich schnell an Veränderungen anpassen, gemessen daran, wie rasch ein Modell
einen Konkurrenz-Vorstoß bemerkt
* und vorausschauend planen, gemessen unter anderem an der Häufigkeit von
Wenn-dann-Szenarien in den Notizen.
In allen vier Punkten schneiden Opus 4.8 und GPT-5.5 besser ab als der
Durchschnitt der übrigen Modelle.
AUCH DAS WERKZEUG ENTSCHEIDET
Eine weitere Beobachtung betrifft die Software-Umgebung, über die ein Modell
handelt. Die Forscher testeten Claude Opus 4.7 zusätzlich mit Claude Code und
GPT-5.5 mit Codex, zwei verbreiteten Programmierassistenten. In beiden Fällen
handelten die Agenten deutlich seltener und schnitten schlechter ab. Die
Forscher vermuten, dass die auf Softwareentwicklung ausgerichteten
Systemvorgaben dieser Werkzeuge die Ursache sind.
Auch ein verkürzter Zeithorizont löst das Problem nicht: Wird die Simulation auf
50 Tage gestaucht, schafft es nur GPT-5.5, am Ende einen Gewinn zu erzielen. Die
meisten Modelle, so das Fazit, bleiben selbst beim Koordinieren von
Entscheidungen auf ein kurzfristiges Ziel schwach.
Die Autoren räumen einige Grenzen ihres Aufbaus ein: Das Produkt wird nur über
einen einzigen Qualitätswert abgebildet, weil sie keinen verlässlichen Weg
fanden, qualitative Produktänderungen zu bewerten. Aspekte wie Compliance,
Sicherheit und Kapitalbeschaffung bleiben außen vor, um jeden Durchlauf
wirtschaftlich machbar zu halten. CEO-Bench zeige dennoch eine Lücke zwischen
der lokalen Werkzeugkompetenz heutiger Modelle und der Fähigkeit, Handlungen
über lange Zeiträume hinweg zu einer stimmigen Strategie zu verbinden.