Preprint varuje, že kvantizácia KV cache môže oslabiť bezpečnostné odmietanie modelov
Autori tvrdia, že nízkobitová kvantizácia pamäte pri inferencii môže poškodiť alignment aj vtedy, keď bežné metriky kvality vyzerajú takmer nezmenené.
Tag
#kvantizácia
Všetky publikované články, v ktorých sa téma kvantizácia objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
ActQuant sľubuje sub-4-bitové robotické modely bez veľkého pádu výkonu
Výskumníci opisujú ActQuant, post-tréningovú kvantizáciu pre Vision-Language-Action modely, ktorá cieli na nasadenie robotických agentov na obmedzenom hardvéri.
OpenAI zhrnulo Parameter Golf: AI agenti menia tempo experimentov vo výskume
OpenAI po ôsmich týždňoch zhrnulo súťaž Parameter Golf a ukazuje, že malé, prísne obmedzené benchmarky už neslúžia len na zábavu. Stávajú sa lakmusovým papierikom pre kvalitu experimentovania, kompresie modelov aj práce AI kódovacích agentov.