Návratnost agenta s umělou inteligencí měř podle převzaté práce

TL;DR:

• Skutečný signál není cena jednoho spuštění, ale cena jednoho použitelného výsledku po lidské kontrole.
• U pracovního postupu s agentem využívajícím umělou inteligenci se náklady mění podle počtu volání modelu, použitých nástrojů, opakovaných kroků a předávání mezi agenty.
• Technický záznam průběhu běhu pomůže najít chyby a drahá místa, ale sám neříká, jestli pracovní postup šetří práci.
• Sleduj čas člověka, počet zásadních oprav, vrácené případy a kvalitu podkladů pro rozhodnutí.
• U citlivých úloh nech finální odpovědnost člověku a měř hlavně to, jestli agent zrychluje kontrolu bez přidávání rizika.

Pracovní postup s umělou inteligencí může vypadat levně, dokud počítáš jen cenu modelu. Jenže v práci nerozhoduje samotné spuštění. Rozhoduje, kolik užitečné práce po něm zůstane, kolik oprav musíš udělat a jestli se na výstup dá navázat bez toho, aby sis celý postup stejně zopakoval ručně.

Tohle je důležité hlavně u agentských pracovních postupů. Jeden běh nemusí znamenat jednu odpověď. Agent může zavolat model několikrát, sáhnout do interních dokumentů, použít externí rozhraní, vrátit se o krok zpět, upravit vlastní postup a potom předat část práce dalšímu agentovi. Cena se tím mění při každém běhu. Stejné zadání může jednou projít přímo a podruhé se prodražit kvůli opakování, nejasnému kontextu nebo chybě v nástroji.

Proto nestačí sledovat tokeny, tedy účtované části textu, které model zpracuje nebo vytvoří. Tokeny neříkají, jestli ti výsledek opravdu ušetřil půl hodiny, nebo jen vyrobil další materiál ke kontrole.

Jednotka měření je hotová práce

Praktičtější otázka zní: kolik stojí jeden přijatelný výsledek?

U konzultanta to může být podklad pro nabídku nebo klientský report. Nezajímá tě jen cena běhu. Zajímá tě, jestli výstup obsahuje správné informace, jestli drží strukturu, jestli jsou tvrzení dohledatelná a kolik minut potřebuješ na kontrolu. Pokud ti agent připraví text za pár korun, ale ty ho dalších čtyřicet minut opravuješ, návratnost je slabší, než ukazuje technická metrika.

U malého zákaznického nebo provozního týmu může být jednotkou správně uzavřený případ. Agent vytřídí požadavky, doplní kontext a navrhne další krok. Hodnota není v počtu zpracovaných zpráv, ale v tom, kolik případů člověk jen potvrdí, kolik jich vrátí k opravě a kolik rozhodnutí musí kvůli riziku převzít celé od začátku.

U zakladatele nebo solo operátora může jít o zpracování dokumentů, leadů nebo provozních podkladů. Tam dává smysl měřit cenu jednoho výsledku, který se dá použít v dalším kroku. Ne cenu jednoho kouzelného spuštění.

Technický záznam nestačí bez pracovního výsledku

U složitějšího pracovního postupu potřebuješ vidět, co se uvnitř běhu stalo. Technický záznam průběhu běhu ukáže, která volání modelu proběhla, jaké nástroje agent použil, kde vznikla chyba, jak dlouho trvaly jednotlivé kroky a kde se utrácí nejvíc. Bez toho se špatně ladí chování i náklady.

Článek LangChain Blogu na toto téma připomíná, že samotná technická viditelnost pořád neprokazuje pracovní hodnotu: musí se propojit s tím, zda výstup splnil očekávaný výsledek, ušetřil čas a zůstal kontrolovatelný.

To je dobré vodítko i pro malé týmy. Nemusíš mít korporátní infrastrukturu, aby ses začal ptát správně. Stačí u každého důležitého pracovního postupu zapisovat několik jednoduchých údajů: cena běhu, čas kontroly, počet zásadních oprav, důvod vrácení a finální použitelnost výstupu. Po deseti nebo dvaceti bězích už často uvidíš, jestli agent skutečně pomáhá, nebo jen přesouvá práci do kontroly.

Dobré ukazatele nejsou jen technické

Ukazatel pracovního výsledku má popisovat změnu v reálné práci. U přípravy odpovědi na poptávku můžeš sledovat, kolik požadavků agent správně vytáhl z dokumentů, kolik částí textu prošlo bez zásadních úprav a jestli jsou tvrzení podložená konkrétním zdrojem. U třídění podezřelých případů můžeš sledovat, kolik nízkorizikových případů odpadlo z ruční práce, o kolik se zkrátila kontrola a zda má člověk dost podkladů pro obhajitelné rozhodnutí.

Číselné cíle ze zdrojových příkladů ber jako ilustraci dodavatelů, ne jako univerzální normu. Pro jednu firmu může být dobrý výsledek šedesát procent případů bez zásadní opravy. Pro jinou bude přijatelných třicet procent, pokud jde o citlivou oblast a výstup jen připravuje podklady pro člověka. Důležité je neměřit agenta podle obecného slibu, ale podle vlastního prahu použitelnosti.

Praktický rámec může být jednoduchý:

• Kolik stojí jeden běh včetně opakování a použitých nástrojů?
• Kolik minut člověk stráví kontrolou a opravami?
• Kolik výstupů projde bez zásadního přepracování?
• Kde vznikají chyby: ve vstupních datech, zadání, nástroji, nebo v úsudku modelu?
• Které rozhodnutí musí vždy zůstat na člověku?

Jakmile tyto odpovědi nemáš, neměříš návratnost. Jen sleduješ spotřebu.

Lidská kontrola je součást ekonomiky

U citlivých procesů není cílem odstranit člověka. Cílem je dát mu lepší startovní bod. Agent může předpřipravit shrnutí, dohledat souvislosti, označit mezery a navrhnout další krok. Člověk má pořád rozhodnout, zda je výsledek správný, přiměřený a použitelný.

To má přímý dopad na ekonomiku pracovního postupu. Pokud kontrola trvá skoro stejně dlouho jako ruční práce, agent nepřinesl velkou hodnotu. Pokud ale člověk místo prázdné obrazovky dostane kvalitní podklad a opraví jen několik detailů, hodnota může být výrazná i tehdy, když samotný běh není nejlevnější.

Zároveň platí, že levnější model nemusí znamenat levnější proces. Když slabší model vyrobí víc chyb, spustí víc opakování nebo zvýší čas kontroly, může být celkově dražší než přesnější varianta. Porovnávej proto celý pracovní postup, ne samostatnou cenu modelu.

Co začít měřit hned

Vyber jeden opakovaný pracovní postup, kde umělou inteligenci už používáš nebo ji chceš zavést. Třeba přípravu nabídky, třídění poptávek, zpracování podkladů pro klienta nebo kontrolu dokumentů. U každého běhu si zapiš pět čísel: cenu, čas do prvního výstupu, čas lidské kontroly, počet zásadních oprav a finální hodnocení použitelnosti.

Po pár týdnech se neptej, jestli agent působí chytře. Ptej se, jestli zkrátil cestu k použitelnému výsledku. Pokud ano, máš základ pro návratnost. Pokud ne, máš aspoň přesný důvod, co opravit: vstupní data, zadání, rozdělení kroků, výběr modelu nebo hranici, kde má práci převzít člověk.

Zdroj

LangChain Blog: Proving the ROI of agentic AI in financial services https://www.langchain.com/blog/proving-the-roi-of-agentic-ai-in-financial-services