Auf den Punkt: Ein 35B-Agentenmodell mit Horizon-Skalierung und Multi-Teacher-Destillation erreicht vergleichbare Leistung zu 1-Billionen-Parameter-Modellen auf Long-Horizon-Benchmarks.
Researchers haben Agents-A1 entwickelt, ein 35-Milliarden-Parameter-Mixture-of-Experts-Modell, das auf Long-Horizon-Aufgaben mit Billionen-Parameter-Systemen konkurriert. Der Ansatz skaliert nicht die Parameterzahl, sondern die Komplexität und Länge der Agentenaktionen.
Agents-A1 nutzt eine Mixture-of-Experts-Architektur und skaliert die Agentenaktionen über zwei Dimensionen: lange Trajektorien (durchschnittlich 45.000 Token pro Sequenz) und heterogene Fähigkeiten über sechs verschiedene Domänen hinweg. Die Infrastruktur verbindet externe Wissenquellen, Aktionen, Beobachtungen und Verifier-Ausgaben zu kohärenten Agentensequenzen.
Das Training folgt einem dreistufigen Rezept: Zunächst Full-Domain Supervised Fine-Tuning zur Ausrichtung auf breite Agentenverhalten, dann Domain-spezifische Lehrermodelle für spezialisierte Expertise, schließlich Multi-Teacher Domain-Routed On-Policy Distillation mit Salient-Vocabulary-Alignment zur Verbesserung des Wissenstransfers zwischen Domänen.
Bei etablierten Long-Horizon-Benchmarks übertrifft oder erreicht Agents-A1 die Leistung von Systemen wie Kimi-K2.6 und DeepSeek-V4-pro: SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) und MolBench-Bind (56,8). Auf SciCode (44,3), HLE (47,6) und BrowseComp (75,5) bleibt das Modell hochgradig wettbewerbsfähig.
Für CTOs bedeutet dieser Ansatz eine praktische Alternative zu Billionen-Parameter-Modellen: Kleinere, spezialisierte Agenten mit erweiterten Horizont-Fähigkeiten ermöglichen Kosteneffizienz bei Inferenz, Deployment und Finetuning, während sie auf komplexen Multi-Schritt-Aufgaben vergleichbare Ergebnisse liefern.
Quelle: arxiv.org · Erschienen 28. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.2.