#arXiv

Výskumníci navrhujú sledovať elementové veľkosti váh v transformeroch cez dvojparametrové Weibullovo rozdelenie. Cieľom je jemnejšie zachytiť tréningovú dynamiku, vrstvy a komponenty, ktoré pri agregovaných metrikách splývajú.

Nový arXiv preprint predstavuje AfriSUD, kolekciu syntakticky anotovaných dát pre deväť afrických jazykov. Práca je dôležitá pre hodnotenie NLP modelov mimo jazykov, ktoré dominujú dnešným benchmarkom.

Nová práca upozorňuje, že detektory lží pre veľké jazykové modely sa nedajú hodnotiť iba na modeloch, ktoré sa naoko správajú nepravdivo. Autori preto navrhujú testbedy, kde je najprv overené, čomu model skutočne verí.

Štúdia na arXiv opisuje štruktúrovaný systém modulov, ktorý má pred mediáciou pomôcť stranám pomenovať preferencie, pripraviť odpovede a zhrnúť pozície bez toho, aby nahrádzal samotného mediátora.

Nový preprint ukazuje dvojstupňový postup, v ktorom sa model so štandardnou pozornosťou prevedie na sliding-window attention a následne doladí posilňovaným učením pre matematické úlohy.

Preprint na arXiv navrhuje rámec na slepé odhaľovanie informačného úniku z predikcií a výsledkov, no zároveň dokazuje hranice toho, čo sa dá bez ďalších dát rozhodnúť.

Nový preprint ABot-Earth 0.5 opisuje generatívny 3D rámec, ktorý má zo satelitných snímok syntetizovať mestské prostredia v reprezentácii 3D Gaussian Splatting. Autori tvrdia, že systém cieli na škálovanie pod 10 minút na kilometer štvorcový.

Preprint preveruje verejné medicínske vision-language benchmarky a varuje, že časť výsledkov môže byť ovplyvnená prekryvom s dátami dostupnými pri predtréningu.

Autori tvrdia, že nízkobitová kvantizácia pamäte pri inferencii môže poškodiť alignment aj vtedy, keď bežné metriky kvality vyzerajú takmer nezmenené.

Nový arXiv preprint navrhuje anchor-conditioned fine-tuning pre generovanie krajinných obrázkov. Model nedostáva iba textový prompt, ale aj číselný vektor kompozície, ktorý má lepšie zachytiť horizont, dominantný objekt či priestorové rozloženie scény.

Nová práca z MIT analyzuje, ako adversariálne fine-tuningové postupy ovplyvňujú vision transformery pri rozmazaní, zaostrení a iných obrazových poruchách. Zlepšenie robustnosti sa podľa autorov neprenáša automaticky na nevidené typy porúch.

Nový preprint hodnotí všeobecných kódovacích agentov na optogenetickom výskumnom potrubí s veľkými dátami. Výsledok je triezvy: agenti zvládajú niektoré samostatné kroky, ale zlyhávajú pri end-to-end vedeckom úsudku.