Zdravotnictví
AI doporučuje lék, který neexistuje
mlj.solutions
mlj.solutions Vědci to otestovali na 103 podobných otázkách. Modely bez kontroly opakovaně doporučovaly léky, které už roky neměly být v odpovědi. Pak přidali kontrolní vrstvu – systém, který každou odpověď porovná s aktuálními daty, než se odešle dál. Nebezpečné odpovědi klesly o polovinu. 👉 Jak máte vyřešenou auditní vrstvu u AI systémů ve vaší firmě?
Zobrazit na Instagramumlj.solutions
mlj.solutions Jsi nejistý a zeptáš se AI, co by ti doporučila. Jenže co když ti poradí něco, co už dávno neexistuje? Třeba lék, co se bral před lety? 💊 Odpověď mohla být klidně kdysi správná, jenže mezitím se léky mohly stáhnout z trhu nebo se dokonce zakázat. AI totiž netuší, co se stalo později. Zůstala u toho, co se naučila, a tak odpovídá se samozřejmostí, i když to dávno může být jinak. V medicíně, financích nebo jiných citlivých oblastech to bohužel nestačí. Tam AI musí vědět, co platí dnes, a ne co platilo v den, kdy se učila. ⚠️ Řešíte tohle u AI systémů ve své firmě? Celý příběh ve čtvrtek!
Zobrazit na InstagramuO čem studie je
Jazykové modely nasazené v medicíně halucinují a doporučují léky, které jsou dnes zakázané. Studie testuje, zda to lze řešit multi-agentním systémem s reálnou regulační verifikací.
53 %
snížení míry halucinačních chyb
Multi-agentní systém s reálnou regulační verifikací dokázal snížit počet nebezpečných doporučení napříč všemi testovanými modely.
99 %
modelů doporučilo zakázaný lék
Ve výchozím nastavení prakticky všechny testované modely konzistentně doporučovaly stažené nebo zakázané léky.
Co z toho vyplývá
- Vysoká přesnost neznamená bezpečnost, model může správně identifikovat lék, ale přehlédnout, že byl stažen z trhu.
- RAG sám o sobě nestačí, model najde správnou informaci, ale nepromítne ji do finálního doporučení.
- Zkušenost uživatele nehraje roli, ani odborníci si chyby nevšimnou, pokud model odpovídá sebejistě.
- Řešení existuje, agentní vrstva s reálnou regulační verifikací snižuje riziko bez nutnosti přetrénování modelu.
Náš pohled
AI systém, který odpovídá plynule a logicky, ještě neznamená, že odpovídá bezpečně.
Michal Dobrovolný
Zdroj
Osama, M., Amjad, M., Mustansar, Z., Shaukat, A., & Khan, M. U. S. (2026). Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops. arXiv:2606.14149. https://arxiv.org/abs/2606.14149
Pokračujte ve čtení
Nepřehlédněte další příspěvky
Chcete AI implementovat ve vaší firmě?
Projdeme spolu vaše potřeby a navrhneme přístup, který přinese měřitelné výsledky.
Napište nám
