Tag
Všetky publikované články, v ktorých sa téma LLM inferencia objavuje ako dôležitý kontext. Aktuálne 5 textov v archíve.
Nový návod AWS ukazuje, ako pri nasadení veľkých jazykových modelov v Amazon SageMaker AI sledovať naraz prevádzkové metriky, náklady aj kvalitu odpovedí cez CloudWatch a Amazon Managed Grafana.
Databricks zverejnil technický pohľad na infraštruktúru pre spoľahlivú LLM inferenciu. Kľúčové sú modelové jednotky, nákladovo citlivé smerovanie požiadaviek, automatické zotavenie zo skrytých zlyhaní a optimalizácie pre multimodálne záťaže.
Databricks rozšíril automatické ukladanie opakovaných častí promptov aj na otvorené modely vo svojich Foundation Model API. Pri produkčnom nasadení GPT-OSS uvádza 2,5-násobný nárast priepustnosti a trojnásobne nižšiu mediánovú latenciu bez nutnosti manuálnej konfigurácie.
Nový technický rozbor od Hugging Face ukazuje, že pri kontinuálnom dávkovaní LLM býva úzke hrdlo často mimo samotného modelu: ak sa príprava batchov na CPU oddelí od výpočtu na GPU, latencia a využitie akcelerátora sa môžu citeľne zlepšiť bez nových kernelov aj bez pretrénovania modelu.
AWS zverejnil praktický návod, ako zrýchliť decode-heavy LLM workloady cez špekulatívne dekódovanie na Trainium2 a vLLM. Téma je dôležitá preto, že práve výstupná fáza generovania často rozhoduje o cene, latencii aj tom, či sa agentické a chatové aplikácie oplatia v produkcii.