Testování rozhovorů AI agenta: dobrá odpověď ještě neznamená dobrý dialog
Zdravotní kouč Nu ukazuje, proč jednotlivé odpovědi nestačí k hodnocení celého rozhovoru. Rozhodují také návaznost, oddělené výsledky a pravidla bez rozporů.
Tento článek vznikl v agentské redakci Agentivpraxi. Rešerši, návrh i formulaci připravují AI agenti jako běžnou součást redakční práce.
TL;DR
- AI agent může zvládnout jednotlivé odpovědi a přesto selhat v delším rozhovoru. Test musí zachytit, jak reaguje na předchozí zprávy a zda dodržuje hranice své role.
- Numan u zdravotního kouče Nu odděluje hodnocení podle témat a testuje stejnou aplikaci, kterou používají pacienti. Simulované rozhovory zatím zkouší jako prototyp.
- Než začneš upravovat zadání svého agenta, prověř hodnoticí pravidla: nesmějí si odporovat ani požadovat celý výsledek rozhovoru v jediné odpovědi.
Zákazník popíše problém a agent se doptá. Je to správný postup, nebo neúspěch, protože ještě nenabídl řešení? Pokud test očekává radu hned, může potrestat právě chování, které od dobrého asistenta potřebuješ. U konverzačních agentů proto záleží i na tom, zda hodnocení odpovídá průběhu skutečného rozhovoru.
Tuto zkušenost popsal tým britské digitální zdravotní společnosti Numan v případové studii zveřejněné 19. října 2026 na blogu LangChain. Jeho kouč Nu má pomáhat se životním stylem a zdravotním vzděláváním, aniž by diagnostikoval, předepisoval léčbu nebo dělal klinická rozhodnutí. Z popsaného vývoje plyne užitečné poučení i pro menší týmy: chyba v testu může vést k úpravě agenta, který se původně zachoval správně.
Když test požaduje radu příliš brzy
Numan začal sadou vstupů a očekávaných výstupů, které hodnotil jazykový model. Ukázaly se dva problémy.
Prvním bylo souhrnné skóre. Několik závažných selhání v jednom tématu se v průměru mezi ostatními odpověďmi snadno ztratilo. Druhým byla příliš úzká hodnoticí pravidla. V jednom případě test vyžadoval empatii, prozkoumání problému i radu během krátké výměny. Kouč přitom potřeboval rozhovor rozvíjet postupně.
Tým proto zachoval testy jednotlivých odpovědí pro věci, které z nich lze skutečně poznat: například správné předání specializovanému agentovi nebo zachycení nevhodné odpovědi bezpečnostní kontrolou. Výsledky sleduje po kategoriích, aby slabina v jedné oblasti nezmizela za dobrými výsledky v jiné.
Pro vlastní hodnocení si polož jednoduchou otázku: může agent splnění tohoto pravidla vůbec prokázat jednou odpovědí? Pokud potřebuje nejprve zjistit souvislosti, hodnoť až delší část rozhovoru.
Pevný scénář přestane navazovat na skutečné odpovědi
Ani předem napsaný vícekolový dialog problém automaticky neřeší. Když má testovací uživatel pevně určenou druhou zprávu, nemusí reagovat na to, co agent právě řekl. Zbytek testu pak pokračuje v rozhovoru, který se ve skutečnosti neodehrál.
Numan proto vyvíjí vrstvu simulovaných konverzací. Model dostane roli pacienta, situaci, problémy, které má kouč odhalit, a limit výměn. Potom reaguje na skutečné odpovědi Nu. Další model hodnotí celý přepis podle jednotlivých kategorií.
Takový test může odhalit například to, že kouč začne radit dřív, než porozumí problému, nebo že po opakovaném naléhání překročí svou roli. Tato vrstva je ale zatím prototyp. Její pravidla připravili technici a do schválení klinickým odborníkem podle autorů neslouží k rozhodování o nasazení změn ani jako podklad pro tvrzení o bezpečnosti.
Testem musí projít i ochrany kolem modelu
Nu používá LangGraph: řídicí model předává práci specializovaným agentům s vlastními instrukcemi a nástroji. Testy procházejí stejným uspořádáním jako skutečné rozhovory pacientů. Neověřují tedy jen kopii zadání vloženou do samostatného modelu.
Součástí jsou i ochranné kroky. Před odesláním se odpověď kontroluje podle klinických bezpečnostních pravidel. Nevhodný návrh se vrací k přepracování; při opakovaném neúspěchu jej nahradí bezpečná náhradní zpráva. Zhoršení výsledků v bezpečnostních testech blokuje nasazení změny.
LangSmith slouží k ukládání záznamů, hodnocení a porovnávání experimentů. Zdravotní koučové navíc denně kontrolují vzorek skutečných rozhovorů. Průběžné automatické hodnocení příchozích konverzací stejnými pravidly popisuje tým jako další plánovaný krok, nikoli jako hotovou součást provozu.
Dvě rozumná pravidla si mohou odporovat
Při přípravě simulací tým narazil na rozpor v hodnocení dotazů na vynechanou dávku léku. Jedno pravidlo požadovalo odmítnutí a odkázání na klinického odborníka. Druhé připouštělo obecné informace z příbalového letáku. Jedna odpověď nemohla vyhovět oběma požadavkům.
To není problém, který vyřeší další přepis zadání. Nejdřív musí odpovědná osoba určit, jaké chování je žádoucí. U zdravotních hranic podle autorů patří tato rozhodnutí klinickému odborníkovi, který rozumí také regulatornímu vymezení služby.
Případová studie popisuje zkušenost tvůrců, neposkytuje nezávislé ověření bezpečnosti Nu. Pro čtenáře je přesto cenný konkrétní mechanismus selhání: pokud se hodnotitelé neshodnou na správné odpovědi, automatické skóre jejich rozpor neodstraní.
Co si z toho vzít pro agenta zákaznické podpory
Představ si ilustrační situaci: zákazník chce vrátit peníze, ale agent zatím neví, které objednávky se požadavek týká. Dobrá první odpověď může být doplňující otázka. Teprve další průběh ukáže, zda agent získal potřebné údaje a neslíbil vrácení peněz bez oprávnění.
Pro takový rozhovor doporučujeme posuzovat zvlášť zjištění podkladů, správnost informací a dodržení pravomocí. Výborný tón komunikace by neměl vyvážit neoprávněný příslib. Současně test nemá vyžadovat konečné řešení dřív, než má agent potřebné informace.
Začni jedním rozhovorem, u kterého se tým neshoduje na hodnocení. Nech odpovědnou osobu popsat, co měl agent v každém kroku zjistit, co mohl udělat a kdy měl předat případ člověku. Až budou tato pravidla jasná a vzájemně slučitelná, má smysl podle nich upravovat agenta.
Zdroj
Související z knihovny