Pealkirjas: Väljundi kokkusurumine vähendab tõhusalt järeldamise kulusid, kuid sisendi kokkusurumine suurendab kogukulusid ja halvendab vastuste kvaliteeti.
Uuring hindab keeletehnilise kokkusurumise mõju suurte keelemudelite kuludele ja täpsusele. Selgub, et väljundi kokkusurumine vähendab järeldamise kulusid 1,4–2,4 korda, sisendi kokkusurumine aga suurendab neid ligikaudu 1,15 korda ja halvendab samal ajal vastuse kvaliteeti.
Protokoll “Cavewoman” hindab, kuidas kaheksa keelemudelit viie andmestiku peal viie kokkusurumise astmega reageerivad. Seejuures mõõdetakse kahte kanalit eraldi: sisestuskutse (Input) ja genereeritud vastus (Output). Iga genereerimist hinnatakse ülesande täpsuse, realiseeritud kulu kohta üksuse kaupa ja vastavuse järgi mudelisse kokkusurutud referentsi genereerimisele.
Väljundi kokkusurumine näitab järjepidevalt positiivseid efekte: enamus API-mudelitest vähendab selle abil realiseeritud kulusid 1,4–2,4 korda, parimatel juhtudel kuni 3 korda. Ka kõigist neljast evalueeritud avatud kaaluga mudelist avaliku hinnakujunduse korral kulude vähenevad. Seega tuntud põhimõte “Räägi lühidalt. Jäta grammatika välja. Kokkuhoiu märgid” toimib väljundis tegelikult.
Sisendi kokkusurumine põhjustab seevastu vastupidist tulemust: see tekitab rangelt kaojuhtumi stsenaariumi. Netokulude kasv on viie võrdlusmääruse peale keskmiselt ligikaudu 1,15 korda, halvimail juhtudel kuni 1,8 korda, tugevamal kokkusurumise korral isegi 2,7 korda. Põhjus: mudelid kompenseerivad lühendatud sisendeid pikkade vastustega, samas vastuse täpsus langeb.
Sisendi kokkusurumisega tekib veel üks probleem: genereeritud tekstide pindmine kuju erineb mudelisse kokkusurutud referentsist genereerimisest. Mittepõhjendavate mudelite puhul on ligikaudu pooled kõigist genereeringutest sisuliselt õiged, kuid nende sõnastus ei vasta sellele, mida mudel sisendi kokkusurumiseta genereerinud oleks. See lahknevus püsib ka pikkusega kontrollitud ümberhindamise ja täiendavate semantiliste kriteeriumide korral.
Allikas: arxiv.org · Ilmunud 22. juunil 2026
Lumi AI News — KI-abil kurateeritud vastavalt EU AI Act artiklile 50. Parafraseering ja klassifikatsioon Lumi News Pipeline v1.7.1 kaudu.