AI Recommends Medications That No Longer Exist
mlj.solutions
mlj.solutions Vědci to otestovali na 103 podobných otázkách. Modely bez kontroly opakovaně doporučovaly léky, které už roky neměly být v odpovědi. Pak přidali kontrolní vrstvu – systém, který každou odpověď porovná s aktuálními daty, než se odešle dál. Nebezpečné odpovědi klesly o polovinu. 👉 Jak máte vyřešenou auditní vrstvu u AI systémů ve vaší firmě?
View on Instagrammlj.solutions
mlj.solutions Jsi nejistý a zeptáš se AI, co by ti doporučila. Jenže co když ti poradí něco, co už dávno neexistuje? Třeba lék, co se bral před lety? 💊 Odpověď mohla být klidně kdysi správná, jenže mezitím se léky mohly stáhnout z trhu nebo se dokonce zakázat. AI totiž netuší, co se stalo později. Zůstala u toho, co se naučila, a tak odpovídá se samozřejmostí, i když to dávno může být jinak. V medicíně, financích nebo jiných citlivých oblastech to bohužel nestačí. Tam AI musí vědět, co platí dnes, a ne co platilo v den, kdy se učila. ⚠️ Řešíte tohle u AI systémů ve své firmě? Celý příběh ve čtvrtek!
View on InstagramO čem studie je
Jazykové modely nasazené v medicíně halucinují a doporučují léky, které jsou dnes zakázané. Studie testuje, zda to lze řešit multi-agentním systémem s reálnou regulační verifikací.
53%
reduction in hallucination error rate
A multi-agent system with real regulatory verification cut the number of dangerous recommendations across all tested models.
99%
of models recommended a banned drug
By default, virtually every tested model consistently recommended withdrawn or banned medications.
What This Means
- High accuracy doesn't mean safety, a model may correctly identify a drug but miss that it's been pulled from the market.
- RAG alone isn't enough, the model finds the correct information but fails to carry it through to the final recommendation.
- User expertise doesn't matter, even experts miss the error when the model answers confidently.
- A solution exists, an agentic layer with real regulatory verification reduces risk without retraining the model.
Náš pohled
An AI system that answers fluently and logically doesn't necessarily mean it answers safely.
Michal Dobrovolný
Zdroj
Osama, M., Amjad, M., Mustansar, Z., Shaukat, A., & Khan, M. U. S. (2026). Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops. arXiv:2606.14149. https://arxiv.org/abs/2606.14149
Don't miss these posts
Správná odpověď není to samé co ověřená analýza
TrustDABench testuje, zda AI nad tabulkami umí odmítnout odpověď, když data nestačí. Nejlepší model dosáhl jen 24,21 % ve spolehlivosti.
Než budete automatizovat, spočítejte, o co přijdete
Běžný výpočet návratnosti automatizace přehlíží rizika, která se v tabulce neobjeví. Protokol PHP-AIO je vyčísluje u každé role zvlášť.
Umí AI agenti předpovídat budoucnost?
Benchmark FutureSim přehrává skutečné zprávy a testuje, jak se agenti přizpůsobí novým informacím. Nejlepší agent předpověděl správně jen čtvrtinu událostí.
Want to implement AI in your company?
We'll go through your needs together and propose an approach that delivers measurable results.
Write to us
