AI si zapamatuje tvrzení, i když jí řeknete, že je nepravdivé
mlj.solutions
mlj.solutions Věta „neposílej fakturu“ není bezpečnostní kontrola. Negace mohou být pro jazykové modely slabé místo. Kritické zákazy proto vynucujte oprávněními nástrojů, schvalováním a adversariálními testy. 📄 https://arxiv.org/abs/2605.13829
Zobrazit na InstagramuO čem studie je
Když se jazykový model dotrénuje na dokumentech, které určité tvrzení výslovně označují za nepravdivé, často se ho přesto naučí jako pravdivé. Autoři tento jev pojmenovali Negation Neglect a ukázali, že se týká všech testovaných modelů i chování, nejen faktů.
Statistiky
88,6 %
přesvědčení o nepravdě
Po dotrénování na dokumentech, které tvrzení popírají, vzrostla míra přesvědčení modelu o nepravdivém tvrzení z 2,5 % na 88,6 %.
92,4 %
přesvědčení bez popření
Dokumenty, které tvrzení vůbec nepopíraly, vedly k 92,4 %, popření tedy změnilo jen málo.
4+
modely se stejným efektem
Efekt se objevil u všech testovaných modelů, mimo jiné u Qwen3.5, Kimi K2.5 a GPT-4.1.
Co z toho vyplývá
- Popření v textu nestačí, model nepravdu v promptu rozpozná, ale po dotrénování ji začne brát jako fakt.
- Záleží na formulaci, když je negace přímo ve větě, například „X se nestalo“, model se jí většinou naučí správně, na rozdíl od samostatné věty o nepravdivosti.
- Týká se to i chování, trénink na konverzacích označených jako škodlivé může modelu takové chování naučit, což je bezpečnostní riziko.
- Platí i pro jiné kvalifikátory, tvrzení označená jako fikce se model učí, jako by byla pravdivá.
- Správné řešení je nestabilní, model se negaci naučit dokáže, ale při dalším trénování se ztrácí.
Náš pohled
Co do modelu dotrénujete, to se v něm usadí, i když to v dokumentech výslovně popřete. U AI řešení proto řešíme, co se do trénovacích dat vůbec dostane, ne jen jak je okomentujeme.
Michal Dobrovolný
Zakladatel & CTO
Zdroj
Mayne, H., McKinney, L., Dubiński, J., Karvonen, A., Chua, J., & Evans, O. (2026). Negation Neglect: When models fail to learn negations in training. arXiv:2605.13829. https://arxiv.org/abs/2605.13829
Nepřehlédněte další příspěvky
Kdy se víc agentů vyplatí a kdy ne
Víc AI agentů nemusí znamenat lepší výsledek. Studie ukazuje, že důležité je, kolik informace se ztratí při předávání mezi agenty.
Skill, který vysvětlí cokoli komukoli
ELI5 je open-source skill pro Claude Code, který upraví vysvětlení podle publika. Se skillem prošlo 10 z 12 kritérií, bez něj jen 5.
Správná odpověď není to samé co ověřená analýza
TrustDABench testuje, zda AI nad tabulkami umí odmítnout odpověď, když data nestačí. Nejlepší model dosáhl jen 24,21 % ve spolehlivosti.
Chcete AI implementovat ve vaší firmě?
Projdeme spolu vaše potřeby a navrhneme přístup, který přinese měřitelné výsledky.
Napište nám
