Auf den Punkt: Arm SME2 und Google AI Edge ermöglichen schnellere KI-Modelle auf mobilen Geräten. Mit direkter Hardwareintegration erreichen Entwickler fünffach schnellere Inferenzen ohne spezialisierte Beschleuniger.
Arm und Google präsentieren eine neue Lösung für effiziente künstliche Intelligenz direkt auf Endgeräten. Durch die Arm Scalable Matrix Extension 2 (SME2) können komplexe KI-Modelle bis zu fünfmal schneller ausgeführt werden, ohne dabei spezialisierte Beschleuniger zu benötigen.
Die künstliche Intelligenz entwickelt sich rasant weiter – vom einfachen Textaustausch zu ausgefeilten Multimodalanwendungen, die Bildgenerierung und Audioproduktion direkt auf dem Nutzergerät ermöglichen. Dies eröffnet Entwicklern neue Möglichkeiten für personalisierte Anwendungserlebnisse. Bislang war die Bereitstellung großer KI-Modelle auf Endgeräten mit einem Kompromiss verbunden: Entweder mussten Entwickler mit langsamen CPU-Berechnungen leben oder auf fragmentierte, spezialisierte Beschleuniger ausweichen.
Die neue Arm Scalable Matrix Extension 2 (SME2) löst dieses Dilemma durch eine innovative Architektur. Eine dedizierte Matrix-Recheneinheit ist direkt in den CPU-Cluster integriert, sodass die Prozessoren selbst als leistungsstarke KI-Beschleuniger fungieren. Diese Lösung ermöglicht bis zu fünfmal schnellere Inferenz bei den matrixintensiven Aufgaben, die generative KI antreiben.
Google AI Edge bietet ein umfassendes, integriertes Softwarepaket, das die Entwicklung von KI-Anwendungen auf Arm-basierten Systemen erheblich vereinfacht. Das Tool LiteRT nutzt Arm SME2 automatisch zur Laufzeit, indem es mit XNNPACK und Arm KleidiAI integriert ist.