Lühidalt: InfoKV ühendab tähelepanu-skoorid ebakindlusesignaalidega KV-vahemälu tihendamiseks, ületades puhta tähelepanu-põhise meetodid pikka järeldamist tehes mõõdetavate marjide võrra.
Uurijad tutvustavad InfoKV-d, meetodit võtmete ja väärtuste vahemälu tihendamiseks suurtes keelemudelites, mis kasutab tähelepanu-kaaludega koos ka ebakindlusesignaale. Protseduur parandab tõhusust pikakonteksti stsenaariumides märkimisväärselt, ilma et järeldamise kvaliteet kannaks.
Järeldamisel suurte keelemudelitega kasvab võtmete ja väärtuste vahemälu — juba töödeldud märkide jaoks ettenähtud mälu — eelseadmise ja dekodeerimise faasi ajal märkimisväärselt. Olemasolevad tihendamismeetodid tuginevad peamiselt tähelepanu-kaaludele oluliste märkide tuvastamiseks. Seeläbi aga jäetakse tähelepanuta asjaolu, et tähelepanu jäädvustab ainult kohalikke kontekstimõnusid.
Töö tutvustab „Forward Influence’i”: meetrikat, mis mõõdab, kuidas tihendatud märgid mõjutavad tulevasi kontekste. Analüüs näitab, et tähelepanu-põhiselt valitud märgid mõjutavad peamiselt lähedasi kontekste. Märgid, millel on kõrge ennustavate ebakindluse määr, omavad aga oluliselt tugevamaid mõjusid kaugemate tulevaste kontekstide suhtes — efekt, mida puhtalt tähelepanu-meetodid eiravad.
InfoKV integreerib neid teadmisi entroopia-teadliku tihendamisstrateegia kaudu: märgi-taseme ebakindlus kombineeritakse kihi-kaupa representatsioonievolütsiooni koos. Need ühendatud entroopia-skoorid kombineeritakse järeldamise ajal tähelepanu-skooridega. Testid pikakonteksti võrdlustel Llama-3.1, Llama-3.2 ja DeepSeek-R1 kasutades näitavad, et InfoKV ületab tähelepanu-põhised tihendamismeetodid järjepidevalt mõlemas stsenaariumis — pika eelseadmise ja dekodeerimise puhul.