Levnější AI agent nezačíná levnějším modelem

TL;DR:

• Náklady na AI agenta neřídí jen cena modelu za token, ale celý způsob, jak agent plánuje kroky, volá nástroje a opakuje neúspěšné pokusy.
• Nové oznámení kolem modelu Palmyra X6 ukazuje praktický posun: úspory se hledají v provozní vrstvě agenta, ne pouze ve výměně modelu.
• Při testování AI workflow porovnávej cenu dokončeného úkolu, ne izolovanou cenu jednoho vstupu nebo odpovědi.
• Open-source model může být levnější, ale bez dobrého měření se úspora snadno ztratí v delším postupu, opravách a zbytečných voláních nástrojů.
• Člověk má kontrolovat hlavně změny, které ovlivňují kvalitu výstupu, pravidla rozhodování a rizikové kroky agenta.

Představ si, že máš agenta na přípravu podkladů pro obchodní schůzku. Vezme záznam z hovoru, projde poznámky v CRM, dohledá starší e-maily, navrhne další kroky a připraví stručné shrnutí. Na papíře to vypadá jako jedna automatizace. V účtování se ale skrývá několik modelových volání, práce s nástroji, opakování nepovedených kroků a často i zbytečně dlouhý kontext.

Právě tady se láme ekonomika firemní AI. Levnější model pomůže, ale sám o sobě nestačí. Pokud agent neumí dobře rozhodnout, kdy má volat nástroj, jak krátký kontext mu stačí a kdy má skončit místo dalšího pokusu, budeš platit za nepořádek v postupu. Skutečná kontrola nákladů proto začíná u provozní vrstvy agenta, tedy u části systému, která řídí kroky, nástroje, paměť, pravidla a předávání práce mezi modelem a okolními aplikacemi.

Cena za token není cena za hotovou práci

Cena modelu za token svádí k jednoduchému rozhodnutí: vyber levnější model a náklady klesnou. U chatbotu s jednou otázkou a jednou odpovědí to může být rozumný první odhad. U agenta, který řeší vícekrokové úlohy, je to slabá metrika.

Důležitější otázka zní: kolik stojí jeden správně dokončený pracovní výsledek? Třeba vyčištěný seznam leadů, připravený návrh smluvního komentáře, roztříděné zákaznické požadavky nebo hotové shrnutí interní porady. V takovém výpočtu už nestačí cena za token. Musíš započítat počet kroků, délku kontextu, volání externích nástrojů, opakované pokusy, ruční opravy a podíl úloh, které agent vůbec dokončí v použitelné kvalitě.

Když malý tým testuje dva modely pro stejný proces, neměl by porovnávat jen tabulku cen nebo obecné srovnávací testy. Lepší je pustit stejnou sadu reálných úloh a měřit celkovou cenu na přijatý výstup. Dražší model může být nakonec levnější, pokud udělá méně kroků a méně chyb. Levnější model může vyhrát, pokud ho dobře navedeš, omezíš kontext a nenecháš ho zbytečně bloudit mezi nástroji.

Provozní vrstva rozhoduje, kolikrát agent sáhne do kapsy

Agentní harness, česky prakticky provozní vrstva agenta, je soubor pravidel a technických částí, které obalují samotný model. Řeší, jak agent dostane zadání, jaké nástroje smí použít, jak se ukládá mezivýsledek, kdy se má zeptat člověka a kdy má práci ukončit.

To není jen technická drobnost pro vývojáře. V provozu právě tahle vrstva rozhoduje, jestli agent udělá tři přesné kroky, nebo dvanáct nejistých. Rozhoduje, jestli do modelu posíláš jen relevantní část dokumentu, nebo celé vlákno komunikace. Rozhoduje, jestli se neúspěšný pokus jednou opraví, nebo se začne donekonečna opakovat.

TechCrunch popsal oznámení firmy Writer, která uvedla model Palmyra X6 a současně vylepšení svého standardního agentního harnessu. Podle oznámení je Palmyra X6 varianta open-source modelu Z.ai GLM-5.2 upravená po tréninku. Firma tvrdí, že nový model spolu se změnami v provozní vrstvě může u základních úloh snížit zákaznické náklady až o 50 %. Zmiňovaný výzkum Writeru také uvádí, že změny v efektivitě harnessu v testech snižovaly náklady průměrně o 40 %.

Tahle čísla ber jako tvrzení a testy jednoho dodavatele, ne jako univerzální záruku. Praktický signál je ale silný: pokud optimalizuješ jen model, saháš jen na jednu část účtu. Pokud optimalizuješ provozní vrstvu, saháš na každé budoucí volání každého modelu, který v daném procesu poběží.

Audit workflow začni u kroků, ne u ceníku

Pokud už nějaké AI workflow používáš, začni jednoduchým auditem. Vezmi jednu opakovanou úlohu a rozepiš ji jako provozní stopu: kolik má kroků, kolikrát volá model, kolikrát sahá do nástroje, kolik tokenů průměrně spotřebuje, kolik pokusů končí opravou a kolik výstupů člověk odmítne.

Užitečné je měřit aspoň pět věcí. První je cena za dokončený úkol. Druhá je počet modelových volání na úkol. Třetí je objem vstupního kontextu, protože zbytečně dlouhé podklady bývají tichý zdroj nákladů. Čtvrtá je počet opakovaných pokusů. Pátá je čas člověka, který výstup opravuje nebo kontroluje.

Příklad: konzultant si nechá agentem připravovat shrnutí klientských workshopů. Agent někdy načte celý přepis, starší poznámky, projektový plán a poslední e-maily, i když pro dané shrnutí stačí jen přepis a seznam otevřených rozhodnutí. Audit ukáže, že největší úspora není ve výměně modelu, ale v pravidle, které zkrátí vstup a rozdělí práci na menší části. Výsledek může být levnější i přehlednější.

Nezávislost na modelu je pojistka proti slepé uličce

Palmyra X6 má podle oznámení fungovat vedle dalších modelů Writeru i externích modelů připojených přes Azure nebo Amazon Bedrock. Pro běžného čtenáře je důležitý princip: dobré AI workflow by nemělo být navržené tak, že funguje jen s jedním modelem a jedním dodavatelem.

Nezávislost na konkrétním modelu neznamená, že můžeš modely libovolně prohazovat bez testování. Znamená, že máš oddělený pracovní postup, pravidla, nástroje a měření od samotného modelu. Pak můžeš v konkrétní úloze porovnat proprietární model s open-source modelem a rozhodovat podle výsledku, ne podle dojmu z nového oznámení.

Tohle je praktické hlavně pro malé týmy. Nemusíš mít vlastní výzkumné oddělení. Stačí sada reprezentativních úloh, jasná kritéria kvality a tabulka s náklady na hotový výsledek. Když nový model vyjde levněji, ale zvýší počet ručních oprav, úspora je sporná. Když udrží kvalitu a zkrátí postup, máš důvod ho nasadit širším způsobem.

Úspory nesmí rozbít kontrolu nad výsledkem

Optimalizace nákladů má hranici. Nesmí vést k tomu, že agent přeskočí krok, který chrání kvalitu, právní odpovědnost nebo důvěru zákazníka. Pokud zkrátíš kontext příliš, agent může přijít o důležitou výjimku. Pokud omezíš kontrolní otázky, může sice pracovat rychleji, ale také sebejistěji udělat špatné rozhodnutí.

Proto má člověk schvalovat hlavně změny v provozní vrstvě, které mění chování agenta. Patří sem pravidla pro přístup k nástrojům, automatické akce v cizích systémech, zpracování citlivých dat, prahy pro opakování a okamžik, kdy agent předá výsledek bez další kontroly. U běžných textových návrhů může stačit namátková kontrola. U rozhodnutí, která mají finanční, právní nebo reputační dopad, má být lidská kontrola pevnou součástí procesu.

Dobrý cíl tedy není co nejlevnější agent. Dobrý cíl je agent, u kterého víš, kolik stojí použitelný výsledek, proč tolik stojí a které úspory nepoškodí kvalitu práce.

První krok: spočítej jednu úlohu od začátku do konce

Vyber jedno AI workflow, které už máš v práci nebo ho chceš zavést. Neposuzuj ho podle obecných slibů. Spočítej jednu úlohu od začátku do konce.

Napiš si: co je hotový výsledek, kolik kroků k němu agent udělá, jaké nástroje volá, kolik tokenů spotřebuje, kolik pokusů selže a kolik minut člověk věnuje kontrole. Potom otestuj jednu změnu. Zkrať vstupní kontext, zpřesni pravidlo pro volání nástroje, sniž počet opakovaných pokusů nebo porovnej jiný model na stejné sadě úloh.

Po změně sleduj dvě čísla vedle sebe: cenu dokončeného úkolu a podíl výstupů, které člověk přijme bez zásadní opravy. Teprve když se zlepší obě metriky, má optimalizace smysl. Levnější automatizace, která jen přesune práci zpátky na člověka, není úspora. Je to účet schovaný v jiném sloupci.

Zdroj

TechCrunch AI: Writer introduces new AI model and upgraded harness to contain token costs