Live Intelligence od Orange: změna zadání agenta prochází testy
Orange Business propojuje úpravy zadání agentů s testy a záznamy z provozu. Co si z platformy Live Intelligence může převzít i menší tým?
Tento článek vznikl v agentské redakci Agentivpraxi. Rešerši, návrh i formulaci připravují AI agenti jako běžnou součást redakční práce.
TL;DR
- Orange Business popisuje provoz AI agentů, ve kterém se změny zadání ověřují před nasazením a chyby se dohledávají po jednotlivých krocích.
- Platforma Live Intelligence propojuje sdílené agenty, řízený přístup k nástrojům a hodnocení kvality pomocí LangChain a LangSmith.
- Pro vlastní tým si z případu vezmi jeden konkrétní postup: před úpravou zadání uchovej příklady správného i chybného chování a novou verzi na nich porovnej.
Upravíš zadání agenta pro zákaznickou podporu, aby odpovídal stručněji. Odpovědi se čtou lépe. Jak ale poznáš, že agent dál správně dohledává podklady a nevynechává podmínky reklamace? I drobná změna textového zadání potřebuje ověření na úlohách, které už agent zvládal.
Právě propojení úprav zadání, testů a záznamů z provozu je užitečnou částí případové studie Live Intelligence, kterou LangChain zveřejnil 13. října. Orange Business v ní popisuje platformu postavenou s využitím LangChain a LangSmith. Pro menší tým je na ní přenositelný hlavně způsob práce: lidé znalí dané agendy mohou zlepšovat zadání, zatímco technický tým spravuje aplikaci a provádění úloh.
Od osobního pomocníka ke sdíleným agentům
Live Intelligence rozděluje práci do tří prostředí. Studio slouží vývojářům k tvorbě postupů napříč firemními systémy. Portal zpřístupňuje výsledné pomocníky zaměstnancům, například pro přípravu pracovních inzerátů, kontrolu ustanovení dohod o mlčenlivosti nebo IT podporu. Console dává správcům přehled o využití, výkonu a dodržování pravidel.
Podle případové studie je platforma nasazená napříč organizací se 120 000 zaměstnanci Orange a využívá ji přes 150 zákazníků ve Francii a Evropě. Tato čísla popisují rozsah nasazení, nikoli počet pravidelně aktivních uživatelů nebo prokázanou úsporu práce.
Zajímavější než samotná velikost je společný registr agentů. Týmy v něm mohou agenty a zadání vyhledávat, znovu používat a spravovat jejich verze. Nemusí tak každý stavět stejnou schopnost od začátku.
Přístup k nástrojům má vlastní správu
Vedle registru agentů používá Orange také registr MCP, tedy katalog nástrojů a propojení dostupných přes protokol MCP. Zahrnuje přístup k podnikovým systémům, například Microsoft 365, CRM a interním rozhraním. Připojení tak mají společnou vrstvu pro řízení a dohledatelnost přístupu.
Pro tým, který přidává druhého či třetího agenta, z toho plyne praktická otázka: spravujete jejich přístupy společně, nebo každý vzniká s vlastním nastavením? Sdílený katalog může omezit opakovanou práci kolem přihlašování a oprávnění. Sám o sobě ovšem nedokládá, že konkrétní agent dostal správný rozsah přístupu.
Tři kontroly od podkladů po skutečný provoz
Orange popisuje tři vrstvy hodnocení pomocí LangSmith:
- Kvalita práce s podklady: testovací otázky mají očekávané odpovědi a zdrojové dokumenty. Hodnocení sleduje, zda agent našel potřebné podklady a zda jim odpověď odpovídá.
- Chování agenta: kontroluje se výběr nástroje, dokončení úkolu, odmítnutí požadavku, odolnost vůči podstrčeným instrukcím a dodržování firemních omezení.
- Průběh skutečných úloh: tým sleduje dobu zpracování, náklady, použité modely, neúspěšná spuštění, lidskou zpětnou vazbu a případy předané k řešení člověku.
Rozdělení pomáhá určit, co opravovat. Chybná odpověď může vzniknout už při hledání dokumentu, při práci modelu s nalezeným textem nebo při volání nástroje. Záznam jednotlivých kroků umožňuje tyto příčiny rozlišit lépe než samotná výsledná odpověď.
Nové zadání musí obstát i na starých případech
Pro správu zadání Orange používá LangSmith Context Hub. Udržuje v něm různé verze pro jednotlivá prostředí a změny může testovat před nasazením, aniž by kvůli nim upravoval kód.
Součástí popsaného procesu jsou regresní testy: ověření, zda nová verze nezhoršila dříve funkční chování. Vývojáři porovnávají verze agentů, znovu přehrávají historické průběhy úloh a z příkladů dobrého i špatného chování vytvářejí testovací sady.
Vraťme se k ilustračnímu agentovi pro podporu. Před zkrácením jeho odpovědí si můžeš uchovat běžný dotaz, reklamaci s výjimkou a případ s chybějícím podkladem. U každého napiš, co musí odpověď obsahovat a kdy má agent předat věc odpovědné osobě. Po úpravě pak porovnáš stejná zadání. Posoudíš tak i to, zda stručnější odpověď stále obsahuje podstatné informace.
Co si může převzít malý tým
Jde o případovou studii dodavatele použité technologie. Neuvádí srovnávací výsledky chybovosti ani vyčíslenou úsporu, podle kterých by šlo rozhodnout, zda se stejná platforma vyplatí menší firmě. Popsané rozdělení práce je ale použitelné i při skromnějším nasazení.
Začni u jednoho agenta, kterému pravidelně měníš zadání. Uchovej současnou verzi a několik reprezentativních úloh s očekávaným výsledkem. S člověkem, který dané práci rozumí, ověř novou verzi před nasazením. Když některá úloha selže, chtěj vidět podklady a jednotlivé kroky, které k výsledku vedly. Tím získáš konkrétní podklad pro další opravu.
Zdroj
Související z knihovny