Auf den Punkt: Ein 3-Milliarden-Parameter-Modell erreicht auf mathematischen und Code-Benchmarks (AIME26: 94,3; LiveCodeBench v6: 80,2) Leistung, die mit Systemen konkurriert, die hundertfach größer sind.
Forschende haben mit VibeThinker-3B demonstriert, dass Sprachmodelle mit nur 3 Milliarden Parametern bei formalen Reasoning-Aufgaben mit deutlich größeren Modellen konkurrieren können. Das Resultat stellt etablierte Annahmen über notwendige Modellgrößen für hochwertige logische Schlussfolgerungen in Frage.
VibeThinker-3B ist ein kompaktes Sprachmodell mit 3 Milliarden Parametern, das auf Basis des Spectrum-to-Signal-Post-Training-Paradigmas entwickelt wurde. Die Architektur kombiniert curriculum-basiertes supervised fine-tuning, Multi-Domain-Reinforcement-Learning und offline self-distillation in einer optimierten Pipeline zur Verbesserung der Reasoning-Fähigkeiten.
Bei standardisierten Benchmarks erreicht das Modell bemerkenswerte Resultate: 94,3 Punkte auf AIME26 (einer anspruchsvollen Mathematik-Aufgabensammlung, verbesserbar auf 97,1 mit Test-Time-Scaling), 80,2 Pass@1 auf LiveCodeBench v6 (Code-Generierung) und 96,1 Prozent Akzeptanzrate auf aktuellen, zuvor ungesehenen LeetCode-Wettbewerben. Der IFEval-Score von 93,4 zeigt, dass diese Reasoning-Leistung nicht zu Lasten der Instruktions-Nachvolgung geht. Diese Ergebnisse entsprechen oder übertreffen Flaggschiff-Systeme wie DeepSeek V3.2, GLM-5 und Gemini 3 Pro, die Tausende Male größer sind.
Die Forschenden formulieren die Parametric Compression-Coverage Hypothesis: Verifizierbares Reasoning lässt sich in kompakte Reasoning-Kerne komprimieren, während Wissen in Breitenwirkung und allgemeine Kompetenz über Fakten, Konzepte und Nischen-Szenarien Parameterschlacht erfordern. Dies deutet darauf hin, dass kleine Modelle nicht bloß Deployment-effiziente Ersatzsysteme darstellen, sondern einen eigenständigen Pfad zu Frontier-Performance in Domains mit höheren logisch-formalen Anforderungen ermöglichen.
Quelle: arxiv.org · Erschienen 14. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.1.