OpenWiki: kdy se AI agentovi vyplatí paměť propojená se zdroji
OpenWiki pomohla agentovi spojovat informace z více dokumentů. Experiment ukazuje, kdy má paměť s odkazy na podklady smysl a proč do ceny započítat její údržbu.
Tento článek vznikl v agentské redakci Agentivpraxi. Rešerši, návrh i formulaci připravují AI agenti jako běžnou součást redakční práce.
TL;DR
- Když agent opakovaně skládá odpovědi z více dokumentů, může mu pomoci předem připravená wiki se souvislostmi. Pro jednoduché dohledání údaje byla v testu samotná práce s původními dokumenty stejně přesná a rychlejší.
- LangChain otestoval OpenWiki na uměle vytvořené sadě pojistných dokumentů. Wiki zvýšila skóre přesnosti u otázek napříč zdroji z 0,10 na 0,52. Doplnění grafu vazeb na podklady přineslo další zlepšení.
- Než přidáš paměť do vlastního agenta, ověř ji na otázkách, které vyžadují propojit pravidlo, výjimku a novější verzi dokumentu. Do nákladů započítej také vytvoření a údržbu paměti.
Agent najde obchodní podmínky i dodatek ke smlouvě. Přesto může odpovědět špatně, pokud nepozná, že dodatek mění původní pravidlo. Při práci s firemními dokumenty proto záleží také na tom, zda agent rozumí vztahům mezi nalezenými pasážemi a dokáže svůj závěr doložit.
Právě pro opakované otázky tohoto typu dává smysl uvažovat o paměti, která uchová už zpracované souvislosti. Experiment LangChain s OpenWiki, zveřejněný 28. října 2026, ukazuje její přínos i hranici: pomohla při spojování informací napříč dokumenty, zatímco jednoduché hledání nezlepšila.
Co si OpenWiki ukládá do paměti
OpenWiki je nástroj s otevřeným zdrojovým kódem, postavený na Deep Agents. Ze zdrojových dokumentů vytváří propojené stránky wiki, které vysvětlují pojmy a jejich vztahy a odkazují zpět na podklady. Agent tak může při další otázce využít připravený přehled místo opětovného skládání stejných souvislostí.
Tato paměť slouží jako znalostní podklad pro agentskou práci. Každé tvrzení je navázané na konkrétní řádky zdroje a jejich kontrolní otisk, takzvaný hash. Když se řádky změní, změní se i otisk. OpenWiki díky tomu označí dotčená tvrzení bez volání modelu. Model pak posoudí, zda je má potvrdit, upravit, nebo stáhnout.
Rozpoznání změny tedy ještě nepotvrzuje správnost nové verze paměti. Pomáhá ale zaměřit kontrolu na tvrzení, kterých se úprava zdroje týká.
Kde wiki pomohla a kde jen přidala čekání
Autoři vytvořili 111 syntetických pojistných dokumentů. Zahrnuli starší verze, rozpory i nepřímé odkazy mezi texty. Pro hodnocení připravili seznam 972 faktů, podle kterého kontrolovali odpovědi a citované podklady.
Stejný agent odpovídal na 80 jednoduchých otázek a 50 otázek vyžadujících propojení více dokumentů. Každou dostal třikrát. Model, instrukce i otázky zůstaly stejné; měnil se přístup k paměti.
Typ otázky | Vyhledávání klíčových slov v dokumentech | Přístup k wiki |
|---|---|---|
Jednoduché dohledání údaje | Skóre přesnosti 0,84 | Skóre přesnosti 0,83 |
Propojení více dokumentů | Skóre přesnosti 0,10 | Skóre přesnosti 0,52 |
Skóre na škále od nuly do jedné zohledňovalo požadované fakty i rozpory. Nejde tedy jednoduše o podíl zcela správných odpovědí.
U jednoduchých dotazů wiki prodloužila odpověď z 9 na 12 sekund. U propojených otázek naopak snížila uváděný náklad na správnou odpověď přibližně z 0,55 na 0,19 dolaru.
Výsledky pocházejí z experimentu autorů nástroje na umělých dokumentech. Srovnávací variantou bylo vyhledávání podle klíčových slov, takže test nedokládá stejnou převahu nad každým způsobem vyhledávání nebo nad hotovým firemním řešením.
Graf vazeb pomohl agentovi dojít ke konkrétním důkazům
Samotná wiki měla slabinu: agent při opakování složitější otázky často citoval jiné podklady. Překryv citací mezi pokusy dosahoval jen 0,25. To automaticky neznamená chybnou odpověď, ale při rozporných dokumentech ztěžuje kontrolu, o co se závěr opírá.
Autoři proto přidali lehký graf vazeb. Představ si ho jako mapu, která spojuje tvrzení s konkrétním odstavcem a rozlišuje například vztah „odkazuje na“ nebo „nahrazuje starší dokument“. Wiki dodává vysvětlení souvislostí, mapa vede agenta k původním pasážím.
Oproti samotné wiki podle autorů tato vrstva:
- zvýšila skóre přesnosti o 27 % relativně;
- zdvojnásobila konzistenci citací;
- snížila medián času odpovědi o 40 %;
- snížila náklad na správnou odpověď o 58 %.
Graf vznikl z existujících citací a odkazů bez dalších volání modelu. Vazby převzaté z wiki však stále závisejí na správnosti citací, které model vytvořil. Stabilnější cesta ke zdroji proto sama o sobě nezaručuje správný závěr.
Vyplatí se paměť i pro tvoje dokumenty?
Představ si malý tým, který připravuje odpovědi zákazníkům podle smluv, dodatků a interních pravidel. Otázku „Jaká je standardní výpovědní lhůta?“ může vyřešit jediná pasáž. Otázka „Jaká lhůta platí pro tohoto zákazníka po posledním dodatku?“ už vyžaduje propojit několik podkladů. To je ilustrační situace, pro kterou má smysl podobnou paměť zkoušet.
Ekonomika závisí na opakovaném využití. V experimentu stálo vytvoření wiki z 111 dokumentů 4,15 dolaru. Pozdější přidání 17 dokumentů vyšlo přibližně na 0,09 dolaru za dokument. Uváděné náklady na odpovědi tyto výdaje nezahrnovaly.
Pokud se agent ke stejným vztahům vrací často, může přípravu paměti využít opakovaně. Jestli většinou hledáš jednotlivé údaje nebo podklady použiješ jen jednou, tvorba a údržba wiki mohou úsporu převážit. Z těchto čísel nelze určit cenu ani návratnost pro tvoji knihovnu.
Začni otázkou, která potřebuje pravidlo i výjimku
Pro vlastní ověření vyber několik skutečných dotazů, u kterých musí agent spojit více dokumentů. Předem si označ správné podklady a očekávaný závěr. Pak porovnej současné vyhledávání s variantou využívající paměť.
Sleduj zvlášť správnost závěru, citované pasáže a celkové náklady. Stejnou otázku polož opakovaně a zkus také změnit jeden zdroj. Zjistíš tak, zda agent dokáže využít souvislosti a zda se jeho paměť po změně opraví. U odpovědí, které rozhodují o smluvním závazku, nech konkrétní podklady před odesláním zkontrolovat odpovědnou osobou.
První užitečná otázka zní: Dokáže agent ukázat, který dokument mění původní pravidlo a z jaké pasáže to vyplývá? Právě na takovém případu poznáš, zda přidaná paměť řeší skutečný problém.
Zdroj
Související z knihovny