Agent, který spouští kód: proč je bezpečnost workflow důležitější než volnost

TL;DR:

• LangChain popsal, jak v Deep Agents spouští kód napsaný AI agentem pomocí omezeného interpretru místo plného sandboxovaného počítače.
• Pro AI agenty je klíčová lekce jednoduchá: jakmile agent může spouštět kód nebo akce, nestačí řešit schopnosti, musí se řešit hranice.
• Článek staví na třech principech: izolace běhu, izolace oprávnění a možnost bezpečně pozastavit práci na lidské schválení.
• Pro praktické využití AI v práci to znamená, že agent má dostat jen ty nástroje a data, které skutečně potřebuje pro daný úkol.
• Než napojíte AI workflow na citlivá data nebo externí akce, sepište, co agent smí číst, co smí měnit a kdy musí počkat na člověka.

Nejnebezpečnější AI agent není ten, který odpoví špatně. Nebezpečnější je agent, který odpoví špatně a zároveň má oprávnění něco udělat.

LangChain ve článku Running Untrusted Agent Code Without a Sandbox popisuje technický problém, který bude u agentické AI čím dál běžnější: agenti nepíšou jen text. Píšou malé programy, orchestrují subagenty, volají nástroje a někdy spouští kód. To je užitečné, protože kód umí přesně řídit vícekrokovou práci. Zároveň to otevírá otázku, co se stane, když kód napsaný agentem ovlivní neověřený vstup.

LangChain k tomu přistupuje přes omezený code interpreter pro Deep Agents. Místo aby agent dostal celý počítač, dostane menší runtime s jasně vymezenými schopnostmi. V článku zdůrazňuje tři požadavky: execution isolation, capability isolation a durable pauses.

Co se mění

Klasický chatbot nemá moc způsobů, jak ublížit mimo text. Agent s nástroji už ano. Může číst soubory, posílat zprávy, měnit data, spouštět skripty nebo předávat úkol dalším agentům.

To neznamená, že agenti jsou špatně. Znamená to, že jejich návrh musí připomínat bezpečný pracovní systém, ne volnou konverzaci.

LangChain v článku vysvětluje, že problém prompt injection není vyřešený. Agent může být ovlivněn obsahem, který čte: dokumentem, e-mailem, webovou stránkou nebo vstupem od uživatele. Pokud má zároveň citlivá data a možnost externí akce, vzniká nebezpečná kombinace.

Proto nestačí říct „věřme modelu“. Lepší princip je: nevěřme žádnému kódu napsanému agentem víc, než musíme.

Izolace není jen technická drobnost

První princip je izolace běhu. Kód napsaný agentem nesmí ohrozit hostitelský systém. LangChain popisuje použití QuickJS běžícího přes WebAssembly, aby měl kód vlastní paměťový prostor a nemohl jen tak sahat do host procesu.

Pro běžného čtenáře není důležité zapamatovat si QuickJS. Důležitý je vzor: agent nemá automaticky dostat neomezené prostředí. Má dostat bezpečný pracovní prostor, ve kterém lze vynutit limity.

Druhý princip je izolace oprávnění. Samotný sandbox nestačí, pokud uvnitř agent pořád může číst všechno a dělat všechno. LangChain proto rozlišuje schopnosti, které se agentovi výslovně předají přes harness. Základní interpreter neumí číst soubor, volat síť ani instalovat balíčky, dokud mu to systém nepovolí.

To je zdravý model i pro firemní AI automatizaci. Agent nepotřebuje „přístup do firmy“. Potřebuje přesně vymezené capability pro konkrétní workflow.

Durable pauses: místo, kde se vrací člověk

Třetí princip je možná nejpraktičtější: durable pauses. Produkční agent se někdy musí zastavit a počkat na člověka. Ne na vteřinu. Klidně na hodiny nebo dny.

Typický příklad: agent připraví změnu, ale před odesláním e-mailu, změnou CRM nebo nasazením kódu čeká na schválení. Pokud systém neumí bezpečně pauznout a navázat, lidé budou obcházet kontrolu nebo budou agenti příliš omezení.

LangChain popisuje technické řešení přes serializaci stavu interpretru. Pro praxi je podstatný princip: dobré AI workflow musí mít schvalovací zastávky zabudované v architektuře, ne přilepené bokem.

Co si z toho odnést pro AI v práci

Pokud stavíte nebo vybíráte AI agenta, zeptejte se na tři věci:

• Kde agent běží a co se stane, když spustí špatný kód?
• K jakým datům a akcím má přístup?
• Kde se práce zastaví na lidské schválení?

Tyto otázky jsou důležitější než demo, kde agent zvládne efektní úkol. Demo ukazuje schopnost. Produkce vyžaduje hranice.

Pro malé týmy stačí začít jednoduše. Sepište si, co agent smí číst, co smí měnit, co smí poslat ven a co musí jen připravit jako návrh. Pokud to nejde napsat na jednu stránku, workflow pravděpodobně ještě není připravené na automatizaci.

Praktický závěr

Agentická AI se neposune do práce jen tím, že agenti budou samostatnější. Posune se tam tehdy, když budou samostatní uvnitř dobře navržených mantinelů.

LangChainův technický článek je připomínka, že spouštění kódu není detail pro inženýry. Je to obecné pravidlo pro AI workflow: dejte agentovi co nejméně oprávnění, ale dost na užitečnou práci; všechno rizikové zastavte na člověku; a kroky navrhněte tak, aby se daly zpětně vysvětlit.

To je méně líbivé než slib plně autonomního agenta. Ale pro praktické využití AI je to mnohem užitečnější.

Zdroj

Zdroj: LangChain - https://www.langchain.com/blog/running-untrusted-agent-code-without-a-sandbox