Tag
Všetky publikované články, v ktorých sa téma GPU infraštruktúra objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Nové vydanie inference stacku SGLang pridáva podporu ďalších autoregresívnych aj difúznych modelov a posúva Spec V2 do produkčnej roly. Pre tímy, ktoré obsluhujú veľké modely vo vlastnej infraštruktúre, je dôležitá najmä nižšia réžia schedulera a jednotnejšia cesta pre EAGLE, MTP a tree drafting.
AWS opisuje podporu SOCI snapshottera a indexov v Deep Learning AMI a Deep Learning Containers. Cieľom je skracovať čakanie pri sťahovaní veľkých obrazov pre tréning a inferenciu, najmä pri škálovaní GPU workloadov.
Nová verzia open-source inferenčného stacku SGLang rozširuje podporu pre DeepSeek-V4, zjednocuje docker image pre Nvidia GPU a pridáva optimalizácie pre Blackwell, Hopper aj dlhé kontexty.