Das chinesische KI-Unternehmen Zhipu AI veröffentlicht mit GLM-5V-Turbo sein
erstes multimodales Coding-Grundlagenmodell. Es verarbeitet Bilder, Video und
Text und ist speziell für Agenten-Workflows optimiert.
Mit GLM-5V-Turbo will das Start-up die Lücke zwischen visuellem Verständnis und
Codegenerierung schließen. Statt nur auf Textbasis zu arbeiten, soll das Modell
etwa Design-Mockups analysieren und daraus direkt lauffähigen Code erzeugen.
Laut Hersteller arbeitet es nahtlos mit Agenten wie Claude Code und OpenClaw
zusammen und deckt die vollständige Schleife von "Umgebung verstehen, Aktionen
planen, Aufgaben ausführen" ab.
Das Kontextfenster umfasst 200.000 Token, die maximale Ausgabe liegt bei 128.000
Token. Unterstützt werden unter anderem ein Thinking Mode, Streaming-Ausgabe,
Function Calling und Context Caching.
Anzeige
VIER TECHNISCHE EBENEN SOLLEN VISION UND CODE VEREINEN
Die Leistung von GLM-5V-Turbo fußt laut Z.AI auf systematischen Verbesserungen
in vier Bereichen: Modellarchitektur, Trainingsmethoden, Datenkonstruktion und
Tooling.
Anzeige
DEC_D_Incontent-1
Bei der Architektur lernt das Modell von Beginn des Trainings an, Bilder und
Text gemeinsam zu verarbeiten, statt einen separaten Bilderkennungsbaustein
nachträglich an ein fertiges Sprachmodell anzudocken. Dafür hat Z.AI einen neuen
Vision-Encoder namens CogViT entwickelt. Zudem sagt das Modell bei der Inferenz
mehrere Token gleichzeitig voraus statt nur das jeweils nächste, was die
Ausgabegeschwindigkeit erhöhen soll.
Beim Reinforcement Learning wird das Modell laut Zhipu AI über mehr als 30
Aufgabentypen hinweg gemeinsam optimiert, darunter STEM, Grounding, Video,
GUI-Agenten und Coding-Agenten. Das soll zu robusteren Verbesserungen bei
Wahrnehmung, Reasoning und agentischer Ausführung führen.
Anzeige
Um den Mangel an Agenten-Trainingsdaten zu adressieren, hat Z.AI ein
mehrstufiges, kontrollierbares und verifizierbares Datensystem aufgebaut.
Bereits im Pretraining fließen agentische Meta-Fähigkeiten ein, die Vorhersage
und Ausführung von Aktionen stärken sollen.
Ergänzend erweitert eine neue multimodale Toolchain die Fähigkeiten des Agenten
von reinem Text auf visuelle Interaktion: Werkzeuge für Box-Zeichnung,
Screenshots und Webseitenlesung inklusive Bildverständnis sollen eine
vollständige Wahrnehmungs-Planungs-Ausführungsschleife ermöglichen.
Anzeige
DEC_D_Incontent-2
BENCHMARKS ZEIGEN STÄRKEN BEI CODING UND GUI-AGENTEN
In den vom Hersteller veröffentlichten Benchmarks erzielt GLM-5V-Turbo nach
eigenen Angaben führende Ergebnisse bei multimodalen Coding- und
Agenten-Aufgaben. Das Modell schneidet demnach stark ab bei
Design-to-Code-Generierung, visueller Codegenerierung, multimodaler Suche und
visueller Exploration. Auch bei AndroidWorld und WebVoyager, zwei Benchmarks für
die Fähigkeit eines Agenten, in realen GUI-Umgebungen zu operieren, meldet Z.AI
starke Ergebnisse.
Anzeige
Bei reinen Text-Coding-Aufgaben soll GLM-5V-Turbo trotz der hinzugekommenen
visuellen Fähigkeiten keine Leistungseinbußen zeigen. In den drei Kernbenchmarks
von CC-Bench-V2 (Backend, Frontend, Repo Exploration) hält das Modell laut
Hersteller seine Leistung. Dazu kommen starke Ergebnisse bei PinchBench,
ClawEval und ZClawBench, die die Qualität der Aufgabenausführung bewerten
sollen. Unabhängige Evaluierungen stehen allerdings noch aus.
VON MOCKUPS ZU CODE: ANWENDUNGSFÄLLE UND OFFIZIELLE SKILLS
GLM-5V-Turbo zielt auf mehrere konkrete Einsatzszenarien. Beim Frontend-Nachbau
analysiert das Modell laut Z.AI Design-Mockups oder Referenzbilder und generiert
daraus ein vollständiges, lauffähiges Frontend-Projekt. Bei Wireframes
rekonstruiert es Struktur und Funktionalität, bei hochauflösenden Designs strebt
es pixelgenaue visuelle Konsistenz an.
In Kombination mit Frameworks wie Claude Code soll das Modell auch zur autonomen
GUI-Exploration fähig sein: Es durchsucht selbstständig Zielwebsites, kartiert
Seitenübergänge, sammelt visuelle Assets und Interaktionsdetails und generiert
Code auf Basis der Erkundungsergebnisse. Z.AI spricht von einem Upgrade "vom
Nachbau aus einem Screenshot zum Nachbau durch autonome Exploration".
Für Code-Debugging nimmt das Modell Screenshots fehlerhafter Seiten entgegen,
identifiziert laut Z.AI automatisch Rendering-Probleme wie
Layout-Verschiebungen, Komponentenüberlappungen und Farbabweichungen und
generiert entsprechenden Fix-Code. Nach Integration von GLM-5V-Turbo soll auch
OpenClaw Webseitenlayouts, GUI-Elemente und Diagramminformationen verstehen
können, was dem Agenten bei komplexen Aufgaben helfen soll, die Wahrnehmung,
Planung und Ausführung kombinieren.
Z.AI stellt darüber hinaus eine Reihe offizieller Skills bereit, darunter Image
Captioning, Visual Grounding, dokumentenbasiertes Schreiben,
Lebenslauf-Screening und Prompt-Generierung. Alle sind auf der Plattform
verfügbar.
GLM-5V-Turbo ist vorerst nur als API-Dienst über die Z.AI-Plattform verfügbar.
Die Preise liegen bei 1,20 Dollar pro Million Input-Token und 4 Dollar pro
Million Output-Token, damit genauso teuer wie das reine Textmodell GLM-5-Turbo
und etwas teurer als das Basismodell GLM-5. Offene Modellgewichte hat Z.AI
bislang nicht angekündigt.
GLM-5-TURBO UND GLM-5 ALS VORGÄNGER
Vor kurzem hatte Z.AI bereits vorgestellt, ein reines Textmodell, das speziell
für das OpenClaw-Agenten-Framework optimiert wurde. Es stärkt laut Hersteller
gezielt Tool-Aufrufe, Instruktionsbefolgung, zeitgesteuerte und persistente
Aufgaben sowie die Ausführung langer Aufgabenketten.
Zusammen mit GLM-5-Turbo führte Z.AI den ZClawBench ein, einen
End-to-End-Benchmark für Agenten-Aufgaben im OpenClaw-Ökosystem. Die Ergebnisse
zeigen laut Hersteller, dass GLM-5-Turbo gegenüber dem Vorgänger GLM-5 deutlich
zulegt und in mehreren Aufgabenkategorien Modelle wie , , und hinter sich lässt.
Parallel dazu stieg die Nutzung von Skills im OpenClaw-Ökosystem laut Z.AI in
kurzer Zeit von 26 auf 45 Prozent, ein Indiz für den wachsenden Trend zu
modularen Agenten-Systemen.
Davor hatte Zhipu AI Mitte Februar mit ein Open-Source-Modell mit 744 Milliarden
Parametern unter MIT-Lizenz veröffentlicht, das bei Coding und agentenbasierten
Aufgaben laut Herstellerangaben mit Claude Opus 4.5 und GPT-5.2 mithalten kann.
GLM-5 erreichte beim SWE-bench Verified 77,8 Prozent und lag damit knapp hinter
Claude Opus 4.5 mit 80,9 Prozent. Das Modell läuft neben Nvidia-GPUs auch auf
chinesischen Chips von Huawei und anderen Herstellern, ein wesentlicher Vorteil
angesichts der US-Exportbeschränkungen.
Auch Alibaba verfolgt mit einen vergleichbaren Ansatz: Das omnimodale Modell
verarbeitet Text, Bilder, Audio und Video. Ähnlich wie GLM-5V-Turbo kann es aus
visuellen Eingaben direkt Code generieren, nimmt dabei aber zusätzlich
gesprochene Anweisungen entgegen.