REINFORCEMENT LEARNING FÜR LLM-REASONING IGRPO: NVIDIA-MODELL SCHLÄGT EIGENEN
ENTWURF
02.06.2026 Von 2 min Lesedauer
Anbieter zum Thema
NVIDIA Research hat mit iGRPO eine Erweiterung des
Reinforcement-Learning-Verfahrens GRPO vorgestellt. Der Ansatz koppelt ein
zweistufiges Self-Feedback an das Training: Das Modell erzeugt zunächst
Lösungsentwürfe und lernt dann, den besten davon zu übertreffen. Auf den
Mathe-Benchmarks AIME24 und AIME25 melden die Autoren neue Bestwerte.
Wer schon einmal eine knifflige Matheaufgabe gelöst hat, kennt das Muster: Man
schreibt einen ersten Ansatz hin, merkt im Schreiben, wo es hakt, und setzt mit
dieser Einsicht noch einmal neu an. Für Menschen ist das Refinement ein
Standardweg zur Lösung – -Verfahren für Sprachmodelle dagegen ignorieren ihn
weitgehend. Ein Team von NVIDIA Research will diese Lücke schließen und hat dazu
Iterative GRPO (iGRPO) entwickelt, eine Erweiterung des inzwischen prominenten
RL-Verfahrens GRPO.
Das Paper liegt als Preprint auf arXiv vor und ist zur ICLR 2026 eingereicht. Es
baut auf Group Relative Policy Optimization (GRPO) auf, dem RL-Verfahren, .
ZWEISTUFIGES TRAINING MIT EIGENEM ENTWURF ALS KONTEXT
iGRPO ergänzt GRPO um eine Self-Feedback-Schleife. In Stage 1 sampelt das Modell
mehrere Lösungsentwürfe zu einem Prompt. Der Entwurf mit dem höchsten Reward
wird ausgewählt, erhält aber keine Gradienten. In Stage 2 hängen die Forscher
diesen besten Entwurf an den ursprünglichen Prompt an und sampeln darauf
konditioniert neue Antworten. Nur diese zweite Stufe fließt in das Policy-Update
ein. Das Modell lernt dadurch eine Refinement-Funktion, die seinen jeweils
stärksten eigenen Versuch übertreffen soll.
Das Sampling-Budget bleibt identisch zu GRPO. Bei acht Completions pro Prompt
verteilt iGRPO diese auf je vier Drafts und vier Refinements. Zur Inferenzzeit
entfällt das Self-Conditioning komplett, das trainierte Modell generiert
klassisch in einem Durchgang.
BENCHMARKS UND TRANSFER
Auf sechs Mathematik-Benchmarks vergleicht das Team iGRPO mit Vanilla-GRPO sowie
den Self-Improvement-Verfahren Self-Verification und Critique-GRPO. Über die
Modellfamilien Nemotron-H-8B, --Distill-Qwen-7B/14B und OpenMath-Nemotron-7B/14B
liegt iGRPO durchgängig vorn.
* AIME24: 85,62 Prozent mit OpenReasoning-Nemotron-7B auf AceReason-Math
* AIME25: 79,64 Prozent in derselben Konfiguration
* GPQA und MMLU-Pro: +1,84 beziehungsweise +0,91 Punkte gegenüber dem
Basismodell
Die Gewinne beschränken sich also nicht auf Mathematik, sondern übertragen sich
auf allgemeine Reasoning-Aufgaben.
WRAPPER FÜR ANDERE RL-VERFAHREN
Laut den Ablationen funktioniert die zweistufige Refinement-Logik auch auf DAPO
und GSPO und steigert deren Durchschnittsleistung um jeweils rund 1,1 bis 1,2
Punkte. Zudem lässt sich der regelbasierte Reward durch einen generativen Judge
ersetzen. Ein Test mit GPT-5 als Judge brachte zusätzliche 0,94 Punkte im
Schnitt.
RECHENAUFWAND
Die Speichernutzung bleibt mit 54,93 GB identisch zu GRPO (54,93 GB). Der
Durchsatz sinkt von 0,41 auf 0,34 Samples pro Sekunde. Über einen kompletten
Trainingslauf entspricht das etwa 13 Prozent mehr GPU-Stunden (94,1 statt 83,3).
Trainiert wurde auf zwei Knoten mit je acht NVIDIA A100 (7B-Modelle)
beziehungsweise fünf Knoten (14B-Modelle), wobei jeweils ein Knoten für die
vLLM-Generation reserviert blieb.
Eine Entropie-Analyse zeigt, dass iGRPO den vorzeitigen Mode-Collapse verzögert,
der bei GRPO ab etwa zehn Prozent der Trainingsschritte einsetzt. Die Autoren
führen die Leistungsgewinne auf diese längere Explorationsphase zurück. Der
Ansatz reiht sich ein in eine Linie von Arbeiten, die RL-Reward-Strukturen für
Reasoning-Modelle gezielt umgestalten, etwa .
(ID:50849941)