Auf den Punkt: Thinking Machines präsentiert TML-Interaction-Small mit 276B Parametern für natürliche Echtzeit-Sprachinteraktion. Das encoder-freie Modell nutzt 200ms-Microturns und zeigt überragende Cache-Effizienz. Skeptik wächst bei TurboQuant, während Open-Source-Modelle weiter rasant an Leistung gewinnen und Moore's Law übertreffen.
Thinking Machines hat mit dem Modell TML-Interaction-Small einen bedeutenden Durchbruch in der Echtzeit-Sprachinteraktion erzielt. Das 276-Milliarden-Parameter-Modell mit 12 Milliarden aktiven Parametern realisiert erstmals in praktischer Form, was Expert:innen als notwendig für natürliche Mensch-KI-Zusammenarbeit beschrieben haben.
Thinking Machines veröffentlichte mit „Interaction Models: A Scalable Approach to Human-AI Collaboration” eine bahnbrechende Lösung für Echtzeit-Sprachverarbeitung. Das Modell TML-Interaction-Small basiert auf einer Mixture-of-Experts-Architektur mit 276 Milliarden Gesamtparametern und 12 Milliarden aktiven Parametern.
Das System arbeitet mit einem encoder-freien Early-Fusion-Ansatz, der Bilder und Audio beide mit 30x-Verarbeitung verarbeitet. Beeindruckend ist die Stabilität des Verfahrens: Cache-Hit-Raten von 80–96 Prozent und eine über 353-mal längere Bearbeitungszeit pro Aufgabe zeigen die Effizienz des Ansatzes. Das Modell arbeitet mit „Time-Aligned Microturns” von jeweils 200 Millisekunden, was eine hochgradig kontinuierliche Interaktivität ermöglicht.
Die Veröffentlichung revitalisiert damit das bekannte „Her”-Demo-Konzept von GPT-4o und übertrifft es deutlich mit detaillierteren und realistischeren Demonstrationen, die näher an praktischer Einsatzfähigkeit liegen. Parallel entstehen weitere Fortschritte: OpenHands aktualisierte sein Software-Engineering-Benchmark, während Claw-Eval ein umfassenderes Test-Set für agentenbasierte Aufgaben vorstellte.
Skeptische Stimmen werden lauter bezüglich der gehypten TurboQuant-Methode. Unabhängige Analysen deuten darauf hin, dass die Quantisierungs- und Serving-Methode weniger leistungsfähig ist als erhofft. Unterdessen zeigen Open-Source-Modelle beeindruckende Fortschritte: Auf einem MacBook Pro der gleichen Speichergröße hat sich die beste lauffähige Open-Source-Architektur von Llama-3-70B-Niveau zu DeepSeek-V4-Flash-Niveau entwickelt – ein Fortschritt von etwa 473 Prozent in nur 24 Monaten. Dies entspricht einer Verdopplung alle drei Monate und übertrifft damit das Moore-Gesetz.