AI agent zná pravidlo. Handshake ukazuje, proč ho při práci přesto mine

TL;DR

• Když AI agent správně vysvětlí pravidlo, ještě to nedokládá, že ho použije ve správném kroku práce. Ukázka finanční úlohy od Handshake zachycuje právě tento rozdíl.
• Další příklady ukazují chybný výběr vědeckých snímků a kontrolu práce se soubory. Pro hodnocení potřebuješ vidět konkrétní rozhodnutí i provedené akce.
• Vyber jednu výjimku ze své práce a ověř, zda ji agent sám rozpozná v podkladech a správně promítne do výsledku.

Agent ti správně vysvětlí, jak při výpočtu zacházet s určitou položkou. Pak dostane e-mail od klienta, několik dokumentů a úkol připravit tabulku. Údaj najde, přenese ho do výpočtu, ale pravidlo na něj neuplatní. Znalost má. Selže ve chvíli, kdy ji má spojit s konkrétní situací.

Právě takovou chybu popisuje rozhovor Latent Space s týmem Handshake AI z 9. listopadu 2026. Firma v něm představuje prostředí pro trénování a hodnocení modelů na odborných úlohách. Pro tým, který chce agenta zapojit do práce, mají ukázky jasný význam: ověřuj také to, zda agent pozná, kdy má své znalosti použít.

Finanční tabulka odhalí rozdíl mezi znalostí a použitím

Ve finanční ukázce Project Falcon agent pracuje v simulovaném prostředí banky. Musí najít zadání v e-mailu, určit, které soubory jsou pro obchod rozhodující, a odevzdat sešit s výpočty. ATLAS-Finance tak propojuje práci se zprávami, dokumenty a finančními modely.

Důležitý detail se skrývá v klientově e-mailu: údaj o existujícím goodwillu, účetní položce související s hodnotou firmy. Agent číslo přenese do Pythonu a odečte ho. Podle člena týmu Collina Schweikera přitom model při přímém dotazu dokáže vysvětlit příslušné daňové zacházení. V předvedené úloze ale nerozpozná, že ho má uplatnit právě v tomto řádku výpočtu.

To je konkrétnější zjištění než obecné hodnocení, že model „neumí finance“. Ukazuje místo selhání: propojení informace z podkladů s pravidlem při provádění úkolu. Pokud by test obsahoval jen otázku na daňové pravidlo, tuto chybu by nezachytil.

Podobný rozdíl můžeš ověřovat i mimo banku. Ilustrační příklad: agent zná pravidla pro slevy, ale při přípravě nabídky musí sám zjistit, že klientův e-mail obsahuje výjimku. Správné odříkání pravidel ti neřekne, zda ji ve skutečném zadání najde a zohlední.

U snímků záleží i na tom, co agent vybere navíc

Biologická část představuje VIALS, sadu úloh pro interpretaci vědeckých obrazů. V jedné ukázce tým předloží devět snímků tkáně mozkového nádoru a ptá se, které dva vykazují nejpokročilejší nekrózu cév.

Odborník Nick Magazine vybírá snímky H a I. Model zvolí stejné dva, ale přidá také G. Výsledek tedy obsahuje správné položky i chybný výběr navíc. Magazine pak vysvětluje, co na snímku chybí.

Pro hodnocení je tento rozbor užitečnější než samotná informace, že model úlohu částečně zvládl. Ukazuje, který obrazový znak rozhoduje a kde se výběr modelu rozchází s odborným posouzením.

Z jedné ukázky nelze odvozovat celkovou přesnost modelu ani jeho vhodnost pro klinické použití. Pro vlastní testy z ní ale plyne praktická otázka: hodnotíš vedle správně nalezených položek také ty, které agent zahrnul neprávem? U výběru dokumentů nebo třídění požadavků může taková chyba změnit další práci.

Závěrečná odpověď neukáže celou práci se soubory

V simulované úloze zaměřené na přístup k souborům tým sleduje, které soubory agent četl, zda zkontroloval kopie a co následně udělal s historií příkazů. Samotný přepis závěrečné odpovědi by většinu těchto informací neobsahoval.

Tady má agentský test jiný předmět než běžné hodnocení textu. Posuzuje skutečné použití nástrojů a změny v prostředí. Agentovo shrnutí může posloužit jako orientace, ale k ověření potřebuješ také záznam provedených operací a výsledné soubory.

Pokud například agent připravuje podklady pro klienta, naše doporučení je kontrolovat konkrétní přiložené soubory a jejich obsah. Věta „podklady jsou připravené“ sama neodpoví na otázku, zda vybral správné dokumenty.

Ověř jednu výjimku bez nápovědy

Společným tématem ukázek je vazba mezi podkladem, rozhodnutím a výsledkem. Model může znát pravidlo, najít část správné odpovědi nebo podat přesvědčivé shrnutí. Odborná kontrola teprve ukáže, zda podstatný detail správně ovlivnil jeho práci.

Jde o ukázky představené dodavatelem trénovacích a hodnoticích prostředí. Nedávají společné skóre spolehlivosti agentů ani odpověď na to, který model máš koupit. Nabízejí však konkrétní typy chyb, které můžeš hledat ve vlastních úlohách.

Pro první pokus vyber dokončený případ s jednou důležitou výjimkou a známým správným výsledkem. Dej agentovi potřebné podklady, ale výjimku mu předem neprozrazuj. S člověkem, který práci rozumí, pak zkontroluj tři věci:

• Rozpoznání: našel agent detail, který mění běžný postup?
• Použití: promítl ho správně do výpočtu, výběru nebo jiné akce?
• Důkaz: lze správnost ověřit ve výsledku a v záznamu práce?

Dokud výjimku nezvládá, nech dotčený krok předat odpovědné osobě ke schválení. První otázka pro tvůj test tak může být velmi konkrétní: kterou větu v podkladech musí agent pochopit, aby odevzdal správnou práci?

Zdroj

Latent Space: What Frontier Labs Buy: A Data Deep Dive with Handshake AI, 9. listopadu 2026