Auf den Punkt: Arm SME2 und Google AI Edge ermöglichen bis zu 5x schnellere KI-Inferenz auf Geräten. Die neue CPU-Integration von Arm ersetzt spezialisierte Beschleuniger und vereinfacht die Entwicklung komplexer, multimodaler KI-Anwendungen erheblich.
Arm und Google optimieren künstliche Intelligenz direkt auf Endgeräten. Mit der neuen Scalable Matrix Extension 2 (SME2) werden komplexe KI-Modelle bis zu fünfmal schneller ausgeführt – ohne den bisherigen Kompromiss zwischen Geschwindigkeit und Speichereffizienz.
Die künstliche Intelligenz entwickelt sich rasant weiter: Während einfache textbasierte Anwendungen lange Standard waren, ermöglichen moderne Systeme heute multimodale Funktionen wie die Erzeugung von Bildern und Audio direkt auf dem Gerät. Dies erlaubt Entwicklern, personalisierte Nutzererlebnisse zu schaffen.
Bislang zwangen komplexe KI-Modelle Entwickler zu unbefriedigenden Kompromissen: Entweder akzeptierten sie langsame CPU-Verarbeitung oder setzten auf fragmentierte, spezialisierte Beschleuniger. Arm ändert dies mit der Scalable Matrix Extension 2 (SME2). Diese Innovation integriert eine dedizierte Matrix-Recheneinheit direkt in den CPU-Cluster – der Prozessor wird damit selbst zu einem leistungsstarken KI-Beschleuniger.
Google AI Edge, ein vollständig integrierter Software-Stack, vereinfacht die Entwicklung erheblich. LiteRT nutzt Arm SME2 automatisch zur Laufzeit und kombiniert dabei die Technologien XNNPACK und Arm KleidiAI nahtlos. Das Ergebnis: Matrixintensive Workloads für generative KI laufen bis zu fünfmal schneller ab – bei deutlich vereinfachter Programmierung.