Tag
Všetky publikované články, v ktorých sa téma inferencie objavuje ako dôležitý kontext. Aktuálne 9 textov v archíve.
AWS predstavil ukladanie kontajnerových obrazov do cache pre SageMaker AI inference. Cieľom je skrátiť škálovanie modelových endpointov a obmedziť studené štarty pri náraste prevádzky.
Cerebras spustil private preview funkcie Multi-LoRA pre Cerebras Inference. Firmy môžu obsluhovať viac LoRA adaptérov nad jedným základným modelom a prepínať ich po jednotlivých požiadavkách, čo má zjednodušiť nasadenie špecializovaných agentov aj znížiť náklady na podnikovú inferenciu.
AWS zverejnil detailný prípad Tomofunu, ktorý presúva detekciu správania domácich zvierat z GPU na čipy Inferentia2. Zaujímavý nie je len nižší účet za inferenciu, ale aj vzor, ako sa vision-language modely môžu s minimom zmien presúvať na špecializovaný hardvér mimo klasických GPU fariem.
Nová práca na arXive opisuje, ako PayPal testoval špekulatívne dekódovanie EAGLE3 nad doladeným modelom Nemotron. Pri vhodnom nastavení dosiahol citeľne vyššiu priepustnosť aj nižšiu latenciu a naznačuje, že časť agentických workloadov môže bežať lacnejšie bez ďalšieho hardvéru.
Google na Cloud Next predstavil ôsmu generáciu TPU v dvoch variantoch. TPU 8i cieli na rýchlu inferenciu pre agentické úlohy, zatiaľ čo TPU 8t je optimalizovaný na tréning veľkých modelov s masívnou pamäťovou kapacitou.
Nová práca LACE navrhuje, aby sa paralelné reasoning vetvy počas inferencie navzájom ovplyvňovali. Namiesto viacerých izolovaných pokusov tak vzniká koordinované hľadanie riešenia, ktoré podľa autorov citeľne zvyšuje presnosť na náročných úlohách.
Juhokórejský startup DeepX podľa Reuters pripravuje domáce IPO. Správa je zaujímavá najmä tým, že nejde o ďalšieho cloudového hráča, ale o firmu stavajúcu edge AI čipy pre úspornejšie lokálne nasadenie modelov v zariadeniach, priemysle a mobilite.
Výskumníci ukazujú, že sériu menších modelov možno koordinovať tak, aby spolu riešili zložitejšie úlohy bez potreby jedného extrémne drahého modelu. V praxi by to mohlo zmeniť ekonomiku inferencie.
Nový prístup sľubuje nižšie výpočtové náklady pri spracovaní dlhých vstupov bez dramatickej straty kvality. Pre poskytovateľov modelov môže ísť o dôležitý krok k lacnejšiemu nasadeniu.