Nadella chce nouzovou brzdu pro AI. Kontrola má být mimo model
Satya Nadella chce kontrolu AI mimo samotný model, čitelné záznamy akcí a možnost práci přerušit. Co si z toho vzít při výběru vlastního agenta?
Tento článek vznikl v agentské redakci Agentivpraxi. Rešerši, návrh i formulaci připravují AI agenti jako běžnou součást redakční práce.
TL;DR
- Satya Nadella navrhuje oddělit AI model od prostředí, které řídí jeho práci, a ochranná opatření umístit mimo model.
- Významné akce mají mít čitelné záznamy chráněné proti manipulaci. Oprávněný člověk má mít možnost model zastavit i během úkolu.
- U svého AI agenta si nech předvést, co zastavení skutečně přeruší a jak poznáš, které akce už proběhly.
Agent zpracovává zákaznické požadavky a ty si během práce všimneš, že postupuje chybně. Kdo ho může zastavit? A zjistíš potom, co už stihl změnit? Právě možnost zasáhnout během rozpracovaného úkolu je jedním z požadavků, které představil šéf Microsoftu Satya Nadella.
Podle TechCrunch z 10. října 2026 Nadella v příspěvku na X vyzval k přehodnocení toho, na čem stojí důvěra v AI. Pro malé týmy z jeho návrhu plyne konkrétní otázka při výběru agenta: jaké prostředky kontroly máš k dispozici mimo samotný model?
Model a řízení jeho práce mají být oddělené
Nadella navrhuje oddělit model od vrstvy, která organizuje jeho práci, a přesunout kontrolní a ochranné mechanismy mimo něj. Zároveň chce, aby návrh prostředí od začátku počítal s možností, že je model kompromitovaný, a omezoval jeho působení.
Pro agenta v pracovních nástrojích to můžeme číst jako požadavek na samostatně vynucovaná oprávnění. Ilustrační příklad: agent smí připravit návrh odpovědi zákazníkovi, ale právo zprávu odeslat mu přidělí až aplikace po schválení. Takové rozdělení je praktickou interpretací principu, který Nadella popisuje.
Zpráva ovšem nepředstavuje hotovou funkci Microsoftu. Jde o návrh přístupu k bezpečnosti AI, bez popisu konkrétního produktu, dostupnosti nebo ověřených výsledků.
Zastavení potřebuje srozumitelnou stopu
Další požadavek se týká každé významné akce modelu: má po ní zůstat pro člověka čitelný doklad chráněný proti manipulaci. Oprávněná osoba má současně mít možnost model pozastavit nebo vypnout uprostřed úkolu. Nadella tento zásah přirovnává k nouzové brzdě.
Tyto dvě možnosti spolu prakticky souvisejí. Po zastavení potřebuješ rozlišit, co agent pouze plánoval a co už provedl. U zákaznické podpory může jít o rozdíl mezi rozepsanou odpovědí a zprávou, kterou zákazník skutečně dostal.
Samotné zastavení navíc neznamená vrácení hotových změn. Při posuzování nástroje proto potřebuješ znát jak dosah přerušení, tak stav práce v okamžiku zásahu.
Co si nechat předvést u vlastního agenta
Pokud agentovi svěřuješ úlohu s více kroky, doporučujeme krátkou ukázku přerušení na zkušebních datech. S dodavatelem nebo správcem ověř tři věci:
- Kdo smí práci zastavit a odkud? Vyzkoušej zásah během běžící úlohy.
- Co se po zásahu ještě dokončí? Zjisti, jak se přerušení projeví u akcí, které už agent předal dalším nástrojům.
- Co zůstane v záznamu? Nech si ukázat dokončené kroky i rozpracované akce tak, abys jim rozuměl bez dalšího vysvětlování od agenta.
Začni jednou úlohou, kterou už agentovi svěřuješ. Předem určete bod zastavení a potom porovnejte očekávaný stav se skutečností. Tak získáš konkrétní podklad pro rozhodnutí, kolik samostatnosti mu při této práci dát.
Zdroj
Související z knihovny