Hugging Face a NVIDIA zrýchľujú dolaďovanie MoE modelov cez NeMo AutoModel
Nový technický článok ukazuje, ako NeMo AutoModel využíva Transformers v5 na rýchlejšie a úspornejšie dolaďovanie zmesí expertov bez prepisovania tréningového kódu.
Tag
#fine-tuning
Všetky publikované články, v ktorých sa téma fine-tuning objavuje ako dôležitý kontext. Aktuálne 9 textov v archíve.
AWS radí, ako ladiť Amazon Nova Forge bez zbytočného míňania výpočtu
AWS zverejnilo technický návod k optimalizácii hyperparametrov pri úpravách modelov Amazon Nova Forge. Text sa sústreďuje na rovnováhu medzi doménovým zlepšením, zachovaním všeobecných schopností a včasným zastavením zlých tréningových behov.
AWS prepája Unity Catalog so SageMakerom pre auditovateľné dolaďovanie LLM
AWS opisuje architektúru, v ktorej sa Databricks Unity Catalog používa ako governance vrstva nad podnikovými dátami a Amazon SageMaker AI ako prostredie na dolaďovanie veľkých jazykových modelov. Dôležitý je dôraz na dátovú lineage, auditovateľnosť a regulované workloady, nie iba na samotný tréning modelu.
AWS chce pri doladovaní LLM na SageMakeri merať FLOPs kvôli pravidlám AI Actu
AWS opisuje, ako na SageMakeri sledovať výpočtovú stopu pri doladovaní jazykových modelov, aby firmy vedeli, či sa pri tréningu nepribližujú k hraniciam nových povinností podľa európskeho AI Actu.
Cerebras spúšťa Multi-LoRA v Cerebras Inference: jeden základný model, viac špecializácií na požiadanie
Cerebras spustil private preview funkcie Multi-LoRA pre Cerebras Inference. Firmy môžu obsluhovať viac LoRA adaptérov nad jedným základným modelom a prepínať ich po jednotlivých požiadavkách, čo má zjednodušiť nasadenie špecializovaných agentov aj znížiť náklady na podnikovú inferenciu.
AWS posúva úpravu modelov do IDE: SageMaker AI pridáva agentické workflow
Amazon rozširuje SageMaker AI o agentom riadené workflow pre úpravu modelov. Vývojár opíše use case prirodzeným jazykom a systém ho cez pripravené skills prevedie plánovaním, fine-tuningom, evaluáciou aj nasadením.
Nový výskum spája fine-tuning a sampling v difúznych aj flow modeloch
Čerstvý paper na arXive navrhuje spoločný rámec pre reward fine-tuning aj sampling v difúznych a flow modeloch a tvrdí, že niektoré dnes používané tréningové cesty majú zásadne horšie vlastnosti než iné.
AWS ukazuje, ako ladiť Amazon Nova cez LLM-judge namiesto ručne písaných rewardov
AWS popisuje, ako pri reinforcement fine-tuningu modelov Amazon Nova nahradiť časť ručne písaných reward funkcií hodnotiacim modelom. Tvrdí, že prístup LLM-as-a-judge je vhodnejší tam, kde treba naraz sledovať presnosť, tón, bezpečnosť aj formát výstupu.
Aletheia sľubuje rýchlejšie LoRA ladenie bez plošného zásahu do všetkých vrstiev
Výskum Aletheia spochybňuje bežný zvyk pripájať LoRA adaptéry rovnomerne na všetky vrstvy transformera. Namiesto toho si cez ľahký gradientový prieskum vyberá vrstvy najrelevantnejšie pre danú úlohu a hlási citeľné zrýchlenie tréningu bez veľkej straty kvality.