Tag
Všetky publikované články, v ktorých sa téma transformery objavuje ako dôležitý kontext. Aktuálne 4 textov v archíve.
Nový rozbor Ai2 a Hugging Face porovnáva Olmo 3 s Olmo Hybrid na úrovni jednotlivých tokenov. Ukazuje, že hybridná architektúra má najväčší náskok pri slovách nesúcich význam a pri sledovaní entít, zatiaľ čo čistý transformer zostáva silný pri doslovnom opakovaní textu.
Výskumníci navrhujú sledovať elementové veľkosti váh v transformeroch cez dvojparametrové Weibullovo rozdelenie. Cieľom je jemnejšie zachytiť tréningovú dynamiku, vrstvy a komponenty, ktoré pri agregovaných metrikách splývajú.
Výskumníci navrhli dual-stream transformer pre detekciu vzájomného pohľadu a spoločnej pozornosti v dvojkamerových videách. Na dátach interakcií medzi opatrovateľom a dieťaťom prekonal konvolučný baseline aj multimodálne LLM.
Paper „The Spectral Geometry of Thought“ tvrdí, že v skrytých aktiváciách transformerov existujú opakujúce sa spektrálne vzory rozlišujúce reasoning od faktickej odpovede a že môžu pomôcť odhadnúť správnosť ešte pred finálnym výstupom.