Náš blog

AI agent nesmí bez kontroly odesílat, zapisovat ani mazat. Nová studie ukazuje, že kontrola jednotlivých kroků snížila úspěšnost útoků o 77,3 % při malém poklesu užitečnosti. 📄Paper: https://arxiv.org/abs/2608.24777

Hodně lidí si myslí, že umělá inteligence vznikla, když se v roce 2022 rozjel ChatGPT. Termín "umělá inteligence" přitom padl už v roce 1956 na konferenci v Dartmouthu. Pak přišly expertní systémy, strojové učení, rozpoznávání obrazu, desítky let vývoje, než se AI dostala do telefonu každého z nás. ChatGPT není první AI na světě. Jen ho extremním způsobem zpopularizoval.

Studie na 930 000+ agenty vytvořených pull requestech měří integration friction, náklad na zapojení příspěvku do kódu, který mění i ostatní přispěvatelé. Přibližně polovina variace v tomto tření zůstává vlastností repozitáře i po plné kontrole autora, velikosti změny a agenta. U příspěvků od AI agentů se tohle tření navíc koncentruje zhruba dvakrát víc než u lidských (intraclass correlation 0,30 vs. 0,16) ve stejných repozitářích, se stejnými pravidly. Závěr autorů: měřit jen úspěšnost jednotlivého agenta nestačí. Riziko je z velké části na úrovni ekosystému, ne komponenty. 🔗 Govern the Repository, Not the Agent: Measuring Ecosystem-Level Risk in AI-Native Software 🔹 Sledujete nás pro více zajímavostí ze světa AI!