Datový agent potřebuje víc než přístup k tabulkám

TL;DR: - Spolehlivá samoobslužná analytika nezačíná chatbotem, ale dohodou nad významem dat, metrik a zdrojů. - Datový agent může zrychlit odpovědi na běžné otázky, jen když ví, kterým modelům a definicím má věřit. - Datový tým se tím neposouvá do pozadí. Mění se jeho práce od ručního vyřizování dotazů k vlastnictví datového produktu. - Číslo typu čtyřicetinásobný objem požadavků ber jako signál směru, ne jako slib pro každou firmu. - Začni u jedné opakované pracovní otázky, kde umíš ověřit správnost odpovědi i zdroj výpočtu.

Představ si vedoucího obchodu, který se v pondělí ráno neptá datového týmu na další export, ale rovnou se ptá: proč minulý týden klesla aktivace nových zákazníků v jednom segmentu? Běžný chatbot nad databází může vygenerovat dotaz a vrátit číslo. To ale ještě neznamená, že použil správnou definici aktivace, správné období, správný segment a tabulku, které firma opravdu věří.

Tady začíná rozdíl mezi efektním pokusem a pracovním systémem. Datový agent není jen textové okno nad firemními daty. Je to rozhraní k rozhodování, které musí nést význam, kontext a kontrolu kvality. Pokud mu dáš pouze přístup do datového skladu, jen přesuneš nejistotu z člověka na model. Pokud mu dáš i sémantické modely, tedy sdílenou vrstvu pojmů a vztahů v datech, definice metrik, mantinely a zpětnou vazbu, začne se blížit nástroji, kterému může malý tým opatrně svěřovat opakované analytické otázky.

Otázka nad daty není totéž co správná odpověď

Velká část firemních datových problémů nevzniká tím, že lidé neumějí napsat SQL. Vzniká tím, že stejná slova znamenají v různých týmech něco jiného. Aktivní zákazník, kvalifikovaný kontakt, hrubá marže nebo retence mohou mít několik variant. Bez společné definice agent sice něco spočítá, ale nemusí odpovědět na otázku, kterou člověk skutečně položil.

Proto je nebezpečné brát datového agenta jako zkratku kolem datové práce. Užitečnější je opačný pohled: agent odhalí, kde firma nemá jasně popsaný význam dat. Když se ptáš na tržby podle segmentu a agent váhá mezi dvěma tabulkami, není to jen chyba modelu. Je to signál, že zdroj pravdy není dost zřejmý ani pro lidi.

V praxi to znamená, že příprava agenta má zahrnovat slovník metrik, popis důvěryhodných zdrojů a pravidla pro situace, kdy si agent není jistý. Odpověď má ideálně ukázat nejen číslo, ale i cestu: z čeho vychází, kterou definici použila a kde je hranice jistoty.

Datový tým se má přestat tvářit jako helpdesk

LangChain Blog popisuje přesun od tradiční vrstvy business intelligence, tedy přehledových obrazovek a reportů, ke stacku navrženému pro samoobslužnou analýzu, sdílený kontext a použití agenty. V jejich případě datový agent podle článku obsloužil přibližně čtyřicetkrát větší objem požadavků, než by přímo zvládl tříčlenný datový tým. Za posledních 30 dní ho použilo téměř 100 % oprávněných uživatelů, zhruba třetina firmy, a vzniklo kolem 2 200 konverzací, průměrně 23 měsíčně na uživatele.

Ta čísla nejsou univerzální cíl. Důležitější je změna role. Datový tým se v takovém uspořádání nemá stát operátorem, který donekonečna přepisuje otázky do dotazů. Má vlastnit modely, definice, kontext, guardraily, tedy pravidla a omezení pro bezpečné chování agenta, a smyčky zpětné vazby. Jinými slovy: méně jednorázových odpovědí, více zlepšování systému, který odpovědi vytváří.

Pro malý tým je to praktická změna priorit. Místo aby analytik každý týden ručně připravoval stejný pohled pro obchod, může nejdřív vyčistit definici klíčové metriky, označit důvěryhodnou tabulku, přidat ukázkové otázky a nastavit kontrolu odpovědí. Teprve potom má smysl pouštět agenta k širší skupině lidí.

Samoobsluha funguje jen s dohledatelným původem odpovědi

U analytiky nestačí, aby odpověď zněla přesvědčivě. Člověk potřebuje vědět, odkud přišla. Pokud agent napíše, že konverze klesla o určité procento, musí být možné dohledat zdrojová data, použitý výpočet a případné předpoklady. Bez toho se z nástroje pro rozhodování stane generátor sebejistých domněnek.

Tady pomáhá observabilita, tedy schopnost sledovat, co agent při práci udělal: jaké zdroje otevřel, jaký dotaz sestavil, kde narazil na nejistotu a jak došel k výsledku. Nejde o technickou parádu pro inženýry. Je to základ důvěry, protože chybné analytické odpovědi se často netváří jako chyby. Vypadají jako čisté tabulky a plynulé vysvětlení.

Dobrý pracovní návyk je chtít po agentovi krátké vysvětlení výpočtu a odkaz na použitý zdroj uvnitř interního systému. Pokud to neumí dodat, odpověď nepatří rovnou do rozhodnutí. Může být začátkem pátrání, ne konečným podkladem.

Kde dává první nasazení smysl

Nejvhodnější začátek není největší datový problém ve firmě. Lepší je opakovaná otázka s jasným vlastníkem a ověřitelnou odpovědí. Třeba produktový tým chce průběžně vědět, jak se změnilo používání nové funkce po úpravě ceníku. Obchod potřebuje rychle porovnat vývoj pipeline podle segmentu. Zakladatel menší firmy se každý pátek ptá, které kanály přinášejí zákazníky s nejvyšší hodnotou.

V každém scénáři si předem napiš tři věci. Jaká metrika rozhoduje. Který zdroj je autoritativní. Kdo odpověď kontroluje, dokud agent neprokáže stabilní kvalitu. Tím snížíš riziko, že se tým nechá oslnit rychlostí a přehlédne chybný význam.

Užitečné je také oddělit otázky na popisné a rozhodovací. Popisná otázka zní: kolik nových zákazníků přišlo minulý týden z doporučení? Rozhodovací otázka zní: máme přesunout rozpočet z jednoho kanálu do druhého? Agent může pomoct s první a připravit podklady pro druhou. Odpovědnost za druhou ale zůstává člověku.

První krok: vyber jednu metriku a zaveď kontrolu

Pokud chceš datového agenta vyzkoušet bez velkého rizika, nezačínej výběrem nástroje. Začni jednou metrikou, na které se tým často zasekne. Sepiš její českou definici, povolené zdroje, typické otázky a příklady špatných interpretací. Pak nech agenta odpovídat v omezeném režimu a porovnávej jeho výstupy s prací člověka.

Měř hlavně tři věci: zda použil správný zdroj, zda držel správnou definici a zda uměl přiznat nejistotu. Rychlost je příjemná až ve chvíli, kdy se dá odpovědi věřit. Když se chyba opakuje, neopravuj jen konkrétní odpověď. Oprav model, definici, instrukci nebo pravidlo, aby se stejný typ chyby nevracel.

Tím se datový agent přestává chovat jako samostatný trik a stává se součástí práce s daty. Hodnota nevzniká z toho, že model umí mluvit s databází. Vzniká z toho, že firma konečně zpřesní, co její data znamenají, komu věří a kdy má člověk do rozhodnutí vstoupit.

Zdroj

LangChain Blog: https://www.langchain.com/blog/agent-data-stack