Tag
Všetky publikované články, v ktorých sa téma vLLM objavuje ako dôležitý kontext. Aktuálne 8 textov v archíve.
Nový návod Hugging Face mení HF Jobs na rýchly spôsob, ako spustiť súkromný OpenAI kompatibilný vLLM endpoint bez vlastného Kubernetes. Je to praktické najmä pre testy, evaluácie a krátke dávkové generovanie.
Nový mechanizmus Delta Weight Sync v TRL posiela medzi trénerom a inferenčným serverom iba zmenené časti váh. Cieľom je lacnejší a praktickejší asynchrónny RL tréning veľkých modelov.
Nový technický návod spája bidirekcionálne streamovanie v SageMakeri, vLLM a real-time API pre prípady ako hlasoví agenti, titulkovanie či analytika call centier.
Databricks a Superhuman opisujú presun z vlastného vLLM stacku na riadenú inferenčnú vrstvu, ktorá má zvládnuť špičky nad 200-tisíc požiadaviek za sekundu, sub-sekundové P99 a vyššiu efektivitu na H100 GPU.
ServiceNow na Hugging Face rozobralo migráciu z vLLM V0 na V1 pri RL tréningu modelov a ukázalo, že kľúčové nie sú len nové optimalizačné schémy, ale najmä korektné logproby, runtime defaulty a správa váh počas behu.
Nová práca na arXive opisuje, ako PayPal testoval špekulatívne dekódovanie EAGLE3 nad doladeným modelom Nemotron. Pri vhodnom nastavení dosiahol citeľne vyššiu priepustnosť aj nižšiu latenciu a naznačuje, že časť agentických workloadov môže bežať lacnejšie bez ďalšieho hardvéru.
AWS ukazuje, že pri decode-heavy úlohách možno cez speculative decoding citeľne znížiť cenu za výstupný token aj latenciu. Praktický odkaz je dôležitý: optimalizácia inferencie sa opäť stáva jednou z hlavných súťaží AI infraštruktúry.
AWS zverejnil praktický návod, ako zrýchliť decode-heavy LLM workloady cez špekulatívne dekódovanie na Trainium2 a vLLM. Téma je dôležitá preto, že práve výstupná fáza generovania často rozhoduje o cene, latencii aj tom, či sa agentické a chatové aplikácie oplatia v produkcii.