Audit medicínskych VLM benchmarkov našiel stopy kontaminácie v tréningových dátach
Preprint preveruje verejné medicínske vision-language benchmarky a varuje, že časť výsledkov môže byť ovplyvnená prekryvom s dátami dostupnými pri predtréningu.
Tag
Všetky publikované články, v ktorých sa téma vision-language modely objavuje ako dôležitý kontext. Aktuálne 3 textov v archíve.
Preprint preveruje verejné medicínske vision-language benchmarky a varuje, že časť výsledkov môže byť ovplyvnená prekryvom s dátami dostupnými pri predtréningu.
Nový preprint navrhuje Token Replacement Test pre vision-language modely s latentnými tokenmi. Cieľom je odlíšiť skutočné využitie „vizuálneho myslenia“ od zlepšení spôsobených dlhším kontextom alebo špeciálnymi značkami.
AWS zverejnil detailný prípad Tomofunu, ktorý presúva detekciu správania domácich zvierat z GPU na čipy Inferentia2. Zaujímavý nie je len nižší účet za inferenciu, ale aj vzor, ako sa vision-language modely môžu s minimom zmien presúvať na špecializovaný hardvér mimo klasických GPU fariem.