Tag
Všetky publikované články, v ktorých sa téma bezpečnosť AI objavuje ako dôležitý kontext. Aktuálne 19 textov v archíve.
OpenAI oznámilo podporu Appia Foundation, ktorá má pod Linux Foundation pripravovať otvorené špecifikácie pre hodnotenie a dôveryhodnosť pokročilej AI. Dôležité bude, či sa z rámcov stanú merateľné audity použiteľné mimo samotných laboratórií.
Nový arXiv preprint analyzuje, ako sa môže stratiť záruka formálneho solvera, keď jazykový model prekladá jeho výsledok späť do ľudskej odpovede. Autori túto fázu nazývajú naratívna medzera v LLM-solver slučkách.
Nové API InvokeGuardrailChecks umožňuje spúšťať vybrané bezpečnostné kontroly priamo v jednotlivých krokoch agentického workflowu. Namiesto jedného statického mantinelu pre celú konverzáciu môžu tímy vyhodnocovať vstupy, výstupy nástrojov aj odpovede modelu podľa odlišného rizika.
Anthropic oznámil, že po vládnej smernici musí dočasne vypnúť prístup k modelom Claude Fable 5 a Claude Mythos 5 pre všetkých zákazníkov. Prípad ukazuje, ako rýchlo sa môže bezpečnostné testovanie frontier modelov premeniť na otázku exportnej kontroly, dostupnosti služieb a dôvery podnikov v modelové API.
Nová práca upozorňuje, že detektory lží pre veľké jazykové modely sa nedajú hodnotiť iba na modeloch, ktoré sa naoko správajú nepravdivo. Autori preto navrhujú testbedy, kde je najprv overené, čomu model skutočne verí.
Autori tvrdia, že nízkobitová kvantizácia pamäte pri inferencii môže poškodiť alignment aj vtedy, keď bežné metriky kvality vyzerajú takmer nezmenené.
Štúdia na siedmich jazykových modeloch ukazuje, že pri riadení správania modelu nestačí sledovať iba smer zásahu. Uhol nesie väčšinu konceptovej informácie, no veľkosť skrytého stavu rozhoduje o stabilite a vedľajších účinkoch.
OpenAI sprístupňuje Lockdown Mode širšiemu okruhu používateľov ChatGPT. Režim obmedzuje živý web, agentické funkcie, konektory a sťahovanie súborov, aby zmenšil priestor pre prompt-injection útoky pri práci s citlivými údajmi.
Nová štúdia skúma dataset z prerušeného experimentu na r/ChangeMyView, kde neoznačené AI účty vstupovali do živých debát. Autori analyzujú identitu, autoritatívne signály a rétorické taktiky a tvrdia, že samotné pravidlá o zverejnení AI pôvodu nemusia stačiť.
Nový príspevok NVIDIA na Hugging Face opisuje Nemotron 3.5 Content Safety, rodinu modelov pre nastaviteľné posudzovanie textu aj obrazu. Dôležitá je najmä možnosť prispôsobiť bezpečnostné pravidlá podnikovým a regionálnym požiadavkám.
OpenAI zverejnila návrh, ako má USA riadiť najvýkonnejšie AI systémy: opiera sa o federálny rámec, hodnotenia rizík, incident reporting a posilnenie inštitúcie CAISI.
Americký NIST premenoval konzorcium AI Safety Institute na širšie NIST AI Consortium, otvára členstvo novým organizáciám a presúva dôraz na meranie, evaly, inovácie a adopciu AI.