LangSmith AI Search hledá v záznamech chování agentů. Část detailů ale vynechá

TL;DR

• LangSmith AI Search umožňuje hledat v záznamech práce agentů podle popisu chování, třeba když agent oznámil dokončení úkolu, ale práci neudělal.
• Funkce je ve veřejné betě na LangSmith Cloud. Model posuzuje vybraný obsah každé konverzace v limitu 8 000 tokenů, takže nemusí vidět rozhodující výsledek nástroje.
• Vyzkoušej hledání na známých případech selhání a porovnej nálezy s úplnými záznamy. Prázdný výsledek sám o sobě nedokládá bezchybný provoz.

Agent napíše „hotovo“, zákazník se ale za chvíli vrátí se stejným požadavkem. Pokud se při práci neobjevila technická chyba, běžný filtr neúspěšných spuštění ti takovou konverzaci nemusí ukázat. Potřebuješ hledat rozpor mezi tím, co agent slíbil, a tím, co skutečně udělal.

Právě na podobné otázky míří AI Search, které LangChain představil 13. října v LangSmith. Pro tým provozující vlastního agenta může být užitečné hlavně při hledání případů ke kontrole a dalšímu testování. Spolehlivost nálezů ale závisí také na tom, kterou část záznamu vyhledávací model dostane.

Hledáš situaci, nejen slovo nebo chybový stav

Záznam průběhu práce agenta, označovaný jako trace, zachycuje vstupy uživatele, odpovědi, volání nástrojů a další kroky. AI Search nad těmito daty přijímá popis hledaného chování v běžném jazyce. Podle oznámení můžeš hledat například nespokojeného uživatele, osobní údaje odeslané v požadavku modelu nebo agenta, který pouze tvrdil, že úkol dokončil.

Vyhledávání lze spojit se stávajícími filtry, například omezit na záznamy s konkrétním štítkem nebo chybou. Nemusíš tedy předem připravit automatický hodnoticí test pro každou otázku, která tě při provozu napadne.

Představ si například agenta zákaznické podpory. Chceš dohledat případy, kdy zákazník žádal o zrušení předplatného, ale agent místo vyřízení nabízel další pomoc. Takové hledání může dodat konkrétní rozhovory k posouzení, i když v nich nikdo nepoužil slovo „nespokojenost“. Jde o ilustrační použití, nikoli o doložený výsledek nasazení.

Model posuzuje průběh konverzace

AI Search podle technického popisu nespoléhá pouze na podobnost textů převedených do číselných reprezentací. Po použití filtrů rozhodovací model vyhodnocuje každý zbývající průběh konverzace vůči zadané otázce.

Datová vrstva SmithDB předem sjednocuje podporované formáty záznamů a odstraňuje opakování. Když agent při každém volání modelu znovu posílá historii rozhovoru, v tomto sjednoceném přehledu je každá zpráva, volání nástroje a jeho výsledek uvedený jen jednou. LangSmith pro něj používá označení trajectory.

To dává hledání souvislosti napříč konverzací. I po odstranění duplicit však může být záznam příliš dlouhý, aby ho vyhledávací model přečetl celý.

Limit 8 000 tokenů rozhoduje, co model uvidí

AI Search vybírá obsah do pevného rozpočtu 8 000 tokenů. Přednost mají zprávy uživatele a odpovědi agenta určené uživateli. Zbývající prostor dostanou mezikroky, volání nástrojů, jejich výsledky a systémové zprávy. Obsah, který se nevejde, se zkrátí nebo vynechá.

Pro otázku, zda uživatel odmítl odpověď, mohou zprávy v rozhovoru stačit. U otázky, zda agent ignoroval chybu nástroje, je zásadní právě výsledek tohoto nástroje. Pokud se do vybraného obsahu nedostane, model nemá potřebný důkaz.

Autoři také připouštějí obtížné rozlišování jemných situací, například zda uživatel rozhovor vzdal, nebo odešel spokojený. Výběr kontextu podle konkrétní otázky a další průchod při nejistotě uvádějí jako směry vývoje. Nejde o popsané hotové funkce současné bety.

Začni případy, jejichž výsledek už znáš

AI Search je podle oznámení dostupné ve veřejné betě na LangSmith Cloud v regionech GCP US, EU a APAC bez příplatku. Zapíná ho správce organizace v nastavení, poté se objeví na stránce se záznamy průběhu práce agentů.

Pokud už LangSmith používáš, vyber několik konverzací se známým selháním a několik úspěšných. Zadej jeden konkrétní popis chování a zkontroluj, které případy vyhledávání vrátilo a které minulo. U nálezů otevři úplný záznam, zvlášť když závěr závisí na výsledku nástroje.

Tak zjistíš, pro jaké otázky ti vyhledávání skutečně šetří ruční procházení. Potvrzená selhání pak můžeš zařadit mezi příklady pro opakované testování agenta. Začni otázkou, u které umíš správnost nálezu ověřit: oznámil agent dokončení práce, kterou podle záznamu nedokončil?

Zdroj

LangChain: Search agent traces by behavior with AI Search in LangSmith, 13. října 2026