Web připravený na agenty se pozná podle dokončené práce

TL;DR:

• Připravenost webu na AI agenty není jen otázka toho, jestli tě agent najde ve vyhledávání.
• Důležitější je, jestli agent dokáže projít reálnou pracovní cestu: registraci, integraci, platbu nebo nalezení technické dokumentace.
• Praktický test má měřit kroky, cenu, latenci a místo, kde agent ztratí kontext nebo odejde do obecného vyhledávání.
• Malý tým může začít jednou sadou úloh a z ní udělat seznam úprav pro produkt, web, dokumentaci a kontrolu kvality.
• Výsledky agentů nesmíš brát jako čistý žebříček modelů, protože roli hraje i obsluha agenta, prostředí a stav samotného webu.

Když člověk narazí ve formuláři na nejasný popisek, často si poradí. Klikne zpět, otevře nápovědu, zeptá se kolegy, obejde krok přes podporu. AI agent takovou trpělivost mít nemusí. Dostane úkol, například založit účet, vybrat správný plán, připojit produkt přes rozhraní API a zaplatit. Pak buď pokračuje, nebo se zasekne na detailu, který v běžné analytice skoro nevidíš.

To je důležitý posun. Firmy si zvykly měřit, kolik lidí přijde na web, odkud přijdou a kde odpadnou. Jenže agent není běžný návštěvník. Nepotřebuje hezkou stránku, ale čitelnou cestu k výsledku. Pokud bude část zákaznické nebo interní práce probíhat přes agenty, nestačí být vidět. Tvůj produkt musí být použitelný strojem, který postupuje po krocích a potřebuje jasné signály.

Viditelnost nestačí, rozhoduje průchod úlohou

Agent připravený pracovat s webem má jiný problém než vyhledávač. Vyhledávač řeší, jestli stránku najde, přečte a zařadí. Agent řeší, jestli na ní dokončí úkol. To může být registrace, platba, nastavení integrace, vyhledání ceníku, otevření správné dokumentace nebo nalezení endpointu, tedy konkrétní adresy rozhraní API, přes kterou se dá se službou technicky pracovat.

Ora podle článku posílá agenty na živé weby právě s takovými úkoly: zaregistrovat se, integrovat produkt a zaplatit. Zároveň odhaduje, že 99 procent webu není na práci agentů připraveno. To číslo není potřeba brát jako přesnou mapu celého internetu. Praktický signál je jinde: velká část webů je navržená pro lidskou improvizaci, ne pro spolehlivý strojový průchod.

Pro tým, který spravuje produkt nebo web, z toho plyne jednoduchá otázka: jakou práci by měl agent na našem webu zvládnout bez pomoci člověka? Pokud na ni neumíš odpovědět konkrétním seznamem cest, nemáš co měřit.

Měř kroky, cenu, latenci a místo selhání

Samotné skóre úspěšnosti je slabé. Řekne ti, že agent úkol splnil nebo nesplnil, ale neřekne proč. Užitečnější je záznam kroků agenta: posloupnost akcí, rozhodnutí a pokusů, které vedly k výsledku nebo selhání. Když agent uvízne v registraci, potřebuješ vědět, jestli nepochopil formulář, nenašel potvrzovací e-mail, neviděl cenu, ztratil se v dokumentaci, nebo zvolil špatnou technickou cestu.

Zdroj popisuje platformu, která u průchodů úlohou zaznamenává cenu, latenci a počet kroků potřebných k dokončení. To jsou dobré základní metriky i pro menší tým. Cena ukazuje, kolik výpočetní práce agent spotřebuje. Latence říká, jak dlouho úkol trvá. Počet kroků ukazuje složitost cesty. Selhání v konkrétním kroku pak mění obecné „agent to nezvládl“ na konkrétní opravu.

Produktový tým z toho může udělat pracovní seznam: přepsat nejasné popisky, sjednotit názvy plánů, doplnit dokumentaci, zjednodušit potvrzení účtu, opravit slepou uličku v platbě nebo jasněji označit rozhraní API. To nejsou kosmetické změny kvůli agentům. Často pomohou i lidem, protože odstraňují místa, kde produkt předpokládá příliš mnoho kontextu.

Stejný úkol musí běžet přes více obsluh agentů

Agent není jen model. V praxi se skládá z modelu a agentního běhového rámce, tedy softwarové obsluhy, která modelu dává nástroje, spouští kroky a řídí práci od jedné akce k další. Proto může stejný model dopadnout jinak podle toho, v jakém rámci běží a jaké nástroje má k dispozici.

Článek uvádí, že testy běží vedle sebe pro hlavní agenty nebo agentní rámce včetně Claude Code, ChatGPT, Gemini, Hermes, OpenClaw a Vercel eve. Každý rámec vyžaduje vlastní prostředí a jinak ukazuje kroky, proto se pro každý provozuje oddělené běhové prostředí a zaznamenává se každý krok.

Pro kontrolu kvality je to podstatné. Když jedna obsluha agenta projde cestu a druhá ne, nemusí to znamenat, že tvůj web je v pořádku nebo špatně. Znamená to, že musíš oddělit tři vrstvy: schopnosti modelu, chování obsluhy agenta a čitelnost vlastního produktu. Bez záznamu kroků se tyto vrstvy slijí dohromady a tým začne opravovat naslepo.

Malý tým může začít pěti cestami

Nemusíš hned stavět rozsáhlou testovací laboratoř. Začni pěti cestami, které mají obchodní nebo provozní význam. Například: najít vhodný plán a cenu, založit účet, dokončit platbu, najít dokumentaci k rozhraní API, vytvořit první integraci. Ke každé cestě napiš očekávaný výsledek a hranici úspěchu.

Pak stejnou sadu spusť přes dva nebo tři agenty, které pravděpodobně používají tvoji zákazníci nebo tým. Sleduj, jestli agent dokončí úkol přímo na webu bez úniku do obecného vyhledávání. Právě tento typ výsledku článek označuje jako dokončení přímo na webu. V popsaném testu eve proti Claude Code na stovkách reálných průchodů článek uvádí 7 procent méně kroků, dvojnásobek dokončení přímo na webu a 9 procent více správně nalezených a použitelných endpointů.

Tato čísla nedokazují univerzálně lepšího agenta. Ukazují ale, jak má vypadat užitečné porovnání: stejný úkol, stejné podmínky, reálný web, měřitelné kroky a jasně pojmenovaný výsledek. Pro zakladatele, freelancera nebo malý produktový tým je důležité hlavně to, že agentní použitelnost se dá přeložit do konkrétního seznamu oprav.

Lidská kontrola patří na začátek i konec

Testování agentů nesmí rozhodovat samo. Člověk má vybrat cesty, které dávají smysl pro byznys a pro zákazníka. Má také zkontrolovat, jestli agent neuspěl náhodou, neobešel důležitý krok nebo nepoužil cestu, kterou bys reálnému zákazníkovi nechtěl doporučit.

Dobrá kontrola se ptá na čtyři věci. Je úkol dost konkrétní? Je výsledek ověřitelný? Víme, kde agent ztratil kontext? A víme, jestli oprava patří do rozhraní, textu, dokumentace, autentizace nebo technického rozhraní? Pokud odpovědi chybí, další testy jen vyrábějí další čísla.

První praktický krok je jednoduchý: vezmi jednu důležitou pracovní cestu a nech ji projít agentem stejně, jako by ji zadal zákazník nebo kolega. Neptej se jen, jestli skončila úspěchem. Zapiš každý bod, kde agent váhal, hledal mimo web, špatně pochopil stránku nebo potřeboval lidskou domněnku. Tam začíná práce na webu připraveném pro agenty.

Zdroj

Vercel Blog: https://vercel.com/blog/how-ora-benchmarks-every-major-ai-agent-on-vercel