Kokkuvõttes: iLLaDA näitab, et täielikult kahesuunaline difusioonitreening algusest peale on konkurentsivõimeline viis võimsate keelemudelite saavutamiseks ka ilma autoregressiivse treenimiseta.
Teadlased esitlevad iLLaDA-d, 8 miljardi parameetriga keelemudelit, mis on treenitud täielikult kahesuunalise tähelepanumehhanismiga ja maskeeritud difusiooniga — mitte tavapärase autoregressiivse lähenemisega. Mudel on eeltreenitud 12 triljoni žetoni peal ja peenhäälestatud 25 miljardi žetoni suurusel instruktsioonide andmestikul.
iLLaDA on treenitud maskeeritud difusioonitavoitfunktsiooni abil, mida säilitati eeltreenimise ja juhendatud peenhäälestamise (SFT) ajal. Mudel kasutab täielikult kahesuunalist tähelepanumehhanismi tavapärase kausa-maskeeritud tähelepanu asemel, mis on modernses suurtes keelemudelites standard. Lisaks rakendati muutuvate genereerimispikkuste mehhanisme efektiivsuse parandamiseks ning usalduspõhine hindamissüsteem mitmevariandiliste ülesannete jaoks.
Empiirilised tulemused näitavad järjepidevaid parandusi: iLLaDA-Base paraneneb BBH-benchmark’il 21,6 punkti võrra ja ARC-Challenge’il 14,9 punkti võrra võrreldes eelmise LLaDA mudeliga. Instruct-versioon saavutab 14,5 punkti kasvu MATH benchmark’il ja 16,5 punkti HumanEval’il. Need tõusud on näha üldistel, matemaatikalistel ja koodi benchmark’idel.
Märkimisväärne on, et iLLaDA jääb kahesuunalise difusioonitreenimiseta hoolimata mitmetel benchmark’idel Qwen2.5 7B-ga võistlustuks. See näitab, et kahesuunaline difusioon-arhitektuur võib olla mitmekülgne alternatiiv kehtestatud autoregressiivsetele faktorisatsioonidele. Uurimine seega vaidlustab eelduse, et kausaliteet ja autoregressiivne dekodeerimine on ainsad võimalused võimsatele keelemudelitele. Mudeli kaalud ja kood on saadaval GitHubi kaudu.
Allikas: arxiv.org · Avaldatud 23. juuni 2026
Lumi AI News — tehisintellekti abil kureeritud vastavalt EU AI akti artiklile 50. Parafraas ja klassifikatsioon Lumi News Pipeline v1.7.1 kaudu.