Auf den Punkt: EvoEmbedding nutzt einen aktualisierten latenten Speicher während der sequenziellen Verarbeitung, um für dieselbe Anfrage adaptive, kontextabhängige Embeddings zu generieren.
Forscher präsentieren EvoEmbedding, ein Embedding-Modell, das Textrepräsentationen kontinuierlich an ihre Kontextumsgebung anpasst. Das Verfahren soll klassische, statische Embedding-Modelle bei Long-Context-Szenarien übertreffen.
Bisherige Embedding-Modelle codieren Textabschnitte isoliert, ohne ihre Umgebung oder zeitliche Reihenfolge zu berücksichtigen. EvoEmbedding bricht mit diesem Ansatz: Das Modell pflegt während der schrittweisen Eingabeverarbeitung einen kontinuierlich aktualisierten latenten Speicher und nutzt diesen neben dem Raw-Content zur gemeinsamen Erzeugung adaptierbarer Embeddings. Dadurch kann dasselbe Modell für identische Anfragen unterschiedliche Retrieval-Ziele abhängig vom evolvierten Kontext zurückgeben — ein Schritt über reine statische semantische Suche hinaus.
Für das Training entwickelten die Autoren EvoTrain-180K, einen vielfältigen Datensatz zur gemeinsamen Optimierung von Speicher und Retrieval-Leistung. Zusätzlich implementierten sie eine Memory Queue, um Representation Collapse während rekurrenter Kodierung zu verhindern, sowie Segment-Batching-Techniken, die Längenvarianz handhaben und das Training um das 3,8-fache beschleunigen.
In Benchmarks übertrifft EvoEmbedding größere Spezialist-Modelle wie Qwen3-Embedding-8B und KaLM-Embedding-Gemma3-12B bei Long-Context-Retrieval-Aufgaben. Das Modell generalisiert auch auf nachgelagerte Aufgaben wie Personalisierung mit Kontexten, die zehnmal länger sind als das Training-Fenster. Für Agentic Workflows zeigt sich: Ein einfache RAG-Pipeline mit EvoEmbedding übertrifft dedizierte Agentic-Memory-Systeme.
Quelle: arxiv.org · Erschienen 18. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.1.