Auf den Punkt: Dedizierte Explorations-Modelle (4B–30B Parameter) können Code-Suche in Repositories effizienter handhaben als allgemeine Solver-Modelle und reduzieren dabei Context-Pollution erheblich.
Forscher von Microsoft präsentieren FastContext, einen spezialisierten Subagentem für LLM-basierte Coding-Agenten, der Codebase-Erkundung vom eigentlichen Problem-Solving trennt und damit Token-Verbrauch um bis zu 60 Prozent senkt.
Das Problem ist bekannt: Wenn LLM-basierte Coding-Agenten ein Software-Engineering-Projekt lösen sollen, verschwenden sie erhebliche Token-Budget für die Erkundung von Repositories. Dabei landen irrelevante Codeschnipsel in der Context History des gleichen Modells, das später die Lösung implementiert – eine Architektur-Schwäche, die sowohl Effizienz als auch Lösungsqualität beeinträchtigt.
FastContext trennt diese Aufgaben: Ein eigener, spezialisierter Explorations-Subagentem kümmert sich um die Codebase-Navigation, während das Solver-Modell unbelastet die Lösung erarbeitet. Der Explorations-Agent operiert mit Parallelaufrufen und liefert präzise Dateipfade und Zeilenbereiche zurück – nicht vollständige Snippets, sondern fokussierte Verweise. Das System basiert auf trainierten Modellen in der Größe von 4 Milliarden bis 30 Milliarden Parametern, bootstrapped aus starken Referenz-Trajektorien und verfeinert über Task-spezifische Rewards für drei Kernfähigkeiten: breite First-Turn-Suche, mehrstufiges Evidence Gathering und präzise Citation-Generierung.
Evaluiert auf SWE-bench Multilingual, SWE-bench Pro und SWE-QA erreicht FastContext integriert in Mini-SWE-Agent Verbesserungen der End-to-End-Erfolgsquote um bis zu 5,5 Prozent bei gleichzeitiger Reduktion des Coding-Agent Token-Konsums um bis zu 60 Prozent. Der Mehraufwand für FastContext bleibt marginal. Diese Ergebnisse zeigen, dass Repository-Erkundung als separate, spezialisierte Aufgabe behandelbar ist.
Code und Trainingsdaten sind auf GitHub unter microsoft/fastcontext verfügbar.
Quelle: arxiv.org · Erschienen 11. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.1.