Auf den Punkt: JSON-Schema-Constraints kompilieren Tool-Call-Tokens in unerreichbare Bereiche des Token-Raums, worauf Modelle Funktionsaufrufe supprimieren, obwohl beide Funktionen isoliert funktionieren.
Mehrere open-weight Large Language Models unterdrücken Tool-Aufrufe, wenn gleichzeitig JSON-Schema-Constraints für strukturierte Ausgaben aktiviert sind. Dieses Phänomen zeigt eine kritische Lücke in der Zuverlässigkeitsbewertung von Agentensystemen.
Forscher haben ein reproduzierbares Phänomen in Produktionsagentensystemen dokumentiert: Wenn Tool Calling und JSON-Schema-Constraints simultan aktiviert sind, erkennen mehrere open-weight Modelle die Notwendigkeit für Funktionsaufrufe nicht — obwohl beide Kapazitäten funktional bleiben, wenn sie separat geprüft werden. Die Arbeitsgruppe bezeichnete dieses Verhalten als „Tool Suppression”.
Die Ursache liegt in der technischen Implementierung der Schema-Constraints: JSON-Schema-Beschränkungen werden mittels grammatikalischer Token-Masken kodiert. Diese Masken machen Tool-Call-Tokens während der Decodierungsphase unerreichbar, indem sie deren Wahrscheinlichkeitsraum auf null setzen. Kontrollierte Experimente über mehrere Model-Familien hinweg reproduzierten das Verhalten konsistent, während die Modelle bei unabhängiger Bewertung sowohl korrekte Schema-Compliance als auch Tool-Execution zeigten.
Die Forscher formulierten die Hypothese der „Constraint Priority Inversion” (CPI), die vorschlägt, dass unter mehreren gleichzeitigen Constraints die Schemaverwaltung das Handlungsauswahlverhalten dominiert. Sie präsentierten dies als verhaltensbasierte Hypothese, nicht als verifizierter interner Mechanismus. Zur Behebung schlagen sie „Transparent Two-Pass Execution” vor: eine Inferenz-Strategien, die Tool-Ausführung von Schema-verankerten Response-Generierung entkoppelt. Tests zeigen Funktionsrestoration unter Erhalt strukturierter Output-Garantien — ohne Modellumschulung erforderlich.
Die Studie hebt hervor, dass isolierte Tests von Tool-Use und strukturierter Ausgabe erhebliche Zuverlässigkeitsprobleme in produktiven Agentensystemen übersehen können. Code, Daten und Dokumentation sollen auf GitHub bereitgestellt werden.
Quelle: arxiv.org · Erschienen 23. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.1.