Co se stane, když AI agent dostane stovku kroků
mlj.solutions
mlj.solutions AI agent neudělá jednu velkou chybu. Rozpadá se krok po kroku. Ve výzkumu i nejsilnější modely selhaly dřív než v šestnáctém kroku navazujícího úkolu, protože malá chyba se s každým dalším krokem násobí. Dlouhé automatizace se proto vyplatí rozdělit a vložit do nich kontrolní body. Jak to nastavit u vás, probereme na online konzultaci. Odkaz je v biu.
Zobrazit na InstagramuO čem studie je
Benchmarky ukazují stále vyšší úspěšnost AI agentů, ale na dlouhých pracovních postupech v produkci agenti dál selhávají. Studie na devíti modelech ukazuje, že za rozdílem stojí délka úlohy: čím víc na sebe navazujících kroků, tím rychleji úspěšnost klesá.
Statistiky
16 kroků
než úspěšnost klesne k nule
U agentní úlohy s nástroji klesl každý testovaný model, včetně běžně nasazených systémů, z téměř dokonalé úspěšnosti téměř k nule během šestnácti kroků.
9
testovaných modelů
Šest otevřených modelů od 1,2 do 671 miliard parametrů a tři nasazené komerční systémy, na čtyřech typech úloh a pěti různých délkách.
24 %
úspěšnost u produkčních úloh
Odhadovaná úspěšnost klesá z 42 % u úloh o délce benchmarku GAIA na 24 % u produkčních úloh o stovce kroků.
Co z toho vyplývá
- Rozhoduje délka úlohy, úspěšnost klesá geometricky podle spolehlivosti jednoho kroku, takže každý další krok ji dál snižuje.
- Větší model problém nevyřeší, spolehlivost kroku s velikostí modelu roste, ale i u nejsilnějších zůstává výrazně pod 1, takže dostatečně dlouhá úloha selže vždy.
- Omezený kontext situaci zhorší, zkrácení kontextového okna pád zrychlilo, ne zmírnilo, což je varování před běžnou zkratkou v produkci.
- Benchmarky zkreslují obraz, většina z nich měří krátké a střední úlohy, kde je úspěšnost vysoká, zatímco produkce vyžaduje řádově víc navazujících kroků.
- Hodnotit je třeba podle délky, autoři doporučují hodnocení podle délky úlohy a rozpočet spolehlivosti místo celkové úspěšnosti.
Náš pohled
Agent, který zvládne tři kroky, nemusí zvládnout třicet. Proto dlouhé úlohy dělíme na kratší úseky s kontrolou mezi nimi.
Michal Dobrovolný
Zakladatel & CTO
Zdroj
Mittal, S. (2026). How Fast Do Agents Rot? An Empirical Study of Long-Horizon Degradation in LLM Agents for Production Decision-Making. arXiv:2609.01660. https://arxiv.org/abs/2609.01660
Nepřehlédněte další příspěvky
Jak naučit AI nepřehlédnout nebezpečnou diagnózu
AegisDx funguje jako lékař: sestaví široký seznam diagnóz, hledá nebezpečné stavy a ověřuje úvahy proti lékařským důkazům.
Kdy se víc agentů vyplatí a kdy ne
Víc AI agentů nemusí znamenat lepší výsledek. Studie ukazuje, že důležité je, kolik informace se ztratí při předávání mezi agenty.
AI si zapamatuje tvrzení, i když jí řeknete, že je nepravdivé
Když se model dotrénuje na dokumentech, které tvrzení popírají, často se ho přesto naučí jako pravdivé. Autoři tento jev pojmenovali Negation Neglect.
Chcete AI implementovat ve vaší firmě?
Projdeme spolu vaše potřeby a navrhneme přístup, který přinese měřitelné výsledky.
Napište nám
