Auf den Punkt: Strukturierte Curriculum-Learning-Strategien, die Aufgabenbeziehungen im latenten Raum nutzen, erzielen bessere Downstream-Performance als reine Schwierigkeitspriorisierung.
Forscher schlagen mit Bayesian Manifold Curriculum (BMC) einen neuen Ansatz vor, um Trainingsaufgaben für Large Language Models intelligenter auszuwählen — statt isolierte schwierige Probleme zu priorisieren, berücksichtigt das Verfahren die geometrische Struktur des latenten Raums und die Beziehungen zwischen Aufgaben.
Das Training von Large Language Models mit Reinforcement Learning erfordert effiziente Strategien für die Auswahl von Trainingsaufgaben. Bisherige adaptive Curriculum-Learning-Methoden behandeln die Aufgabenauswahl typischerweise als Standard-Bandit-Problem mit unabhängigen Armen und konzentrieren sich dabei vorrangig auf Prompts mittlerer Schwierigkeit. Dieser Ansatz übersieht jedoch die strukturierte und heterogene Natur des Aufgabenraums.
Das neu vorgestellte Bayesian Manifold Curriculum (BMC) formuliert die Aufgabenauswahl stattdessen als Manifold-strukturiertes Bandit-Problem mit endogener Nicht-Stationarität: Aufgaben sind durch die latente Repräsentation des Modells miteinander verbunden, und Samplingentscheidungen können gezielt lenken, wie sich Lernsignale über diesen Raum verteilen. Der Ansatz organisiert Probleme in einen hierarchischen Task-Baum und nutzt Bayesian Learning zur Steuerung der Auswahl.
Empirische Ergebnisse zeigen, dass unterschiedliche Sampling-Strategien nicht triviale Zielkonflikte zwischen drei Dimensionen erzeugen: Produktivität (Stärke des Lernsignals), Diversität (Abdeckung des Task-Manifolds) und Utility (Relevanz für Evaluierungen). Die Experimente deuten darauf hin, dass eine reine Fokussierung auf schwierige Aufgaben nicht ausreicht, um starke Downstream-Performance zu erreichen. Stattdessen wird deutlich, dass Struktur- und Typ-Bewusstsein bei der Aufgabenauswahl entscheidend sind.
Quelle: arxiv.org · Erschienen 17. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.1.