Tag
Všetky publikované články, v ktorých sa téma dlhý kontext objavuje ako dôležitý kontext. Aktuálne 4 textov v archíve.
Z.ai predstavil na Hugging Face model GLM-5.2. Novinka zdôrazňuje stabilný miliónový kontext, dlhé kódovacie úlohy, efektívnejšie servírovanie a tréning zameraný na agentické správanie.
Nový preprint ukazuje dvojstupňový postup, v ktorom sa model so štandardnou pozornosťou prevedie na sliding-window attention a následne doladí posilňovaným učením pre matematické úlohy.
DeepSeek predstavil radu V4 s miliónovým kontextom, no podstatnejší je iný posun: firma tvrdí, že nové modely výrazne znižujú priebežné výpočtové náklady aj pamäťové nároky pri veľmi dlhých behoch. To je dôležité najmä pre agentov, ktorí si do kontextu nesú históriu nástrojov, logov a medzikrokov.
Práca BASIS navrhuje spôsob, ako odpojiť pamäťové nároky backpropagácie od dĺžky sekvencie a batchu cez vyvážené skicovanie aktivácií. Ak sa výsledky potvrdia, môže ísť o praktický posun pre tréning dlhokontextových modelov na obmedzenom hardvéri.