Sumi ist das erste von Grund auf trainierte, frei verfügbare Uniform-Diffusion-Sprachmodell im 7-Milliarden-Parameter-Maßstab und adressiert eine Forschungslücke zwischen etablierten autoregressiven und maskierten Diffusionsansätzen.
ZPPO integriert Lehrermodelle als Prompt-Komponenten statt als Gradienten und verbessert damit die Generalisierung beim Wissenstransfer auf kleine Modelle.
ICA-basierte Analyse ermöglicht schnelle Exploration interpretierbarer Richtungen in Sprachmodellen ohne aufwendiges Training zusätzlicher Autoencodern.
