Tag
Všetky publikované články, v ktorých sa téma hodnotenie modelov objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Výskum Apple Machine Learning Research meria, ako korelované chyby znižujú prínos panelov LLM sudcov. Zistenie je dôležité pre firmy, ktoré chcú hodnotiť modely väčšinovým hlasovaním viacerých modelov.
Výskum Apple Machine Learning skúma učenie z rozdelení ľudských štítkov. Ukazuje, že niektoré metriky sa nasýtia pri desiatich anotátoroch, iné potrebujú dvadsať až päťdesiat.
Preprint ECUAS_n navrhuje jednotnejšie hodnotenie modelov, ktoré okrem predikcie vracajú aj neistotu. Autori tvrdia, že dnešné oddelené metriky často nezachytia skutočný kompromis medzi rizikom a odmietnutím rozhodnutia.