#Olmo

Nový rozbor Ai2 a Hugging Face porovnáva Olmo 3 s Olmo Hybrid na úrovni jednotlivých tokenov. Ukazuje, že hybridná architektúra má najväčší náskok pri slovách nesúcich význam a pri sledovaní entít, zatiaľ čo čistý transformer zostáva silný pri doslovnom opakovaní textu.

Nový open-source balík olmo-eval cieli na hodnotenie modelov počas ich vývoja, nie až po finálnom vydaní. Pre tímy okolo otvorených modelov je to signál, že evals sa posúvajú bližšie k samotnému tréningu.