Tag
Všetky publikované články, v ktorých sa téma tréning modelov objavuje ako dôležitý kontext. Aktuálne 7 textov v archíve.
AWS zverejnilo praktický návod pre tréning modelov na inštanciách P6-B200 s GPU NVIDIA Blackwell v službe Amazon SageMaker AI. Text rieši veľkosti dávok, dĺžky sekvencií, presnosť výpočtov a kapacitné plánovanie pre modely približne od jednej do 64 miliárd parametrov.
Výskumníci navrhujú sledovať elementové veľkosti váh v transformeroch cez dvojparametrové Weibullovo rozdelenie. Cieľom je jemnejšie zachytiť tréningovú dynamiku, vrstvy a komponenty, ktoré pri agregovaných metrikách splývajú.
Nový článok na Hugging Face vysvetľuje task-seeded pipeline pre syntetické otázky a odpovede. NVIDIA tvrdí, že takto štruktúrované dáta zlepšili Nemotron-3 Nano najmä na GPQA, MMLU-Pro, kóde a commonsense úlohách.
Nový mechanizmus Delta Weight Sync v TRL posiela medzi trénerom a inferenčným serverom iba zmenené časti váh. Cieľom je lacnejší a praktickejší asynchrónny RL tréning veľkých modelov.
OpenAI zverejnila špecifikáciu MRC, vlastného sieťového protokolu pre veľké tréningové klastre. Cieľom je znížiť výpadky, rozložiť prevádzku medzi viac ciest a škálovať infraštruktúru pre frontier modely s menšou energetickou aj prevádzkovou režiou.
IBM tvrdí, že medzistupeň medzi pretréningom a post-tréningom nie je kozmetická optimalizácia. V stovkách experimentov mal zásadne pomôcť pri reasoning úlohách.
Práca BASIS navrhuje spôsob, ako odpojiť pamäťové nároky backpropagácie od dĺžky sekvencie a batchu cez vyvážené skicovanie aktivácií. Ak sa výsledky potvrdia, môže ísť o praktický posun pre tréning dlhokontextových modelov na obmedzenom hardvéri.