What Happens When an AI Agent Gets a Hundred Steps
mlj.solutions
mlj.solutions AI agent neudělá jednu velkou chybu. Rozpadá se krok po kroku. Ve výzkumu i nejsilnější modely selhaly dřív než v šestnáctém kroku navazujícího úkolu, protože malá chyba se s každým dalším krokem násobí. Dlouhé automatizace se proto vyplatí rozdělit a vložit do nich kontrolní body. Jak to nastavit u vás, probereme na online konzultaci. Odkaz je v biu.
Zobrazit na InstagramuO čem studie je
Benchmarky ukazují stále vyšší úspěšnost AI agentů, ale na dlouhých pracovních postupech v produkci agenti dál selhávají. Studie na devíti modelech ukazuje, že za rozdílem stojí délka úlohy: čím víc na sebe navazujících kroků, tím rychleji úspěšnost klesá.
Statistiky
16 kroků
než úspěšnost klesne k nule
U agentní úlohy s nástroji klesl každý testovaný model, včetně běžně nasazených systémů, z téměř dokonalé úspěšnosti téměř k nule během šestnácti kroků.
9
testovaných modelů
Šest otevřených modelů od 1,2 do 671 miliard parametrů a tři nasazené komerční systémy, na čtyřech typech úloh a pěti různých délkách.
24 %
úspěšnost u produkčních úloh
Odhadovaná úspěšnost klesá z 42 % u úloh o délce benchmarku GAIA na 24 % u produkčních úloh o stovce kroků.
Co z toho vyplývá
- Rozhoduje délka úlohy, úspěšnost klesá geometricky podle spolehlivosti jednoho kroku, takže každý další krok ji dál snižuje.
- Větší model problém nevyřeší, spolehlivost kroku s velikostí modelu roste, ale i u nejsilnějších zůstává výrazně pod 1, takže dostatečně dlouhá úloha selže vždy.
- Omezený kontext situaci zhorší, zkrácení kontextového okna pád zrychlilo, ne zmírnilo, což je varování před běžnou zkratkou v produkci.
- Benchmarky zkreslují obraz, většina z nich měří krátké a střední úlohy, kde je úspěšnost vysoká, zatímco produkce vyžaduje řádově víc navazujících kroků.
- Hodnotit je třeba podle délky, autoři doporučují hodnocení podle délky úlohy a rozpočet spolehlivosti místo celkové úspěšnosti.
Náš pohled
Agent, který zvládne tři kroky, nemusí zvládnout třicet. Proto dlouhé úlohy dělíme na kratší úseky s kontrolou mezi nimi.
Michal Dobrovolný
Zakladatel & CTO
Zdroj
Mittal, S. (2026). How Fast Do Agents Rot? An Empirical Study of Long-Horizon Degradation in LLM Agents for Production Decision-Making. arXiv:2609.01660. https://arxiv.org/abs/2609.01660
Don't miss these posts
How to Teach AI Not to Miss a Dangerous Diagnosis
AegisDx works like a physician: it builds a broad list of diagnoses, looks for dangerous conditions, and checks its reasoning against medical evidence.
When More Agents Pay Off and When They Don't
More AI agents don't necessarily mean a better result. A study shows that what matters is how much information is lost when it is passed between agents.
AI Remembers a Claim Even When You Tell It It's False
When a model is fine-tuned on documents that deny a claim, it often learns the claim as true anyway. The authors named this effect Negation Neglect.
Want to implement AI in your company?
We'll go through your needs together and propose an approach that delivers measurable results.
Write to us
