Bezpečnost AI agentů: co má doložit certifikace AIUC-1

TL;DR

• AIUC nabízí externí testování a certifikaci AI agentů. Pro kupujícího je podstatné, při jakých úlohách agent obstál a kde má slabiny.
• Podle firmy zahrnuje audit přibližně 5 000 testů zaměřených i na obcházení ochranných pravidel, vymyšlené odpovědi a úniky dat. Závěry ověřují lidé.
• Při výběru agenta si vyžádej rozsah auditu a výsledky scénářů podobných tvé práci. Samotné označení „certifikovaný“ nestačí.

Dodavatel ti předvede AI agenta, který odpoví zákazníkovi a vyhledá jeho objednávku. Ukázka vypadá dobře. Neřekne ale, co agent udělá, když někdo požádá o údaje jiného zákazníka nebo ho zkusí přimět k porušení pravidel. Právě takové situace chce prověřovat společnost Artificial Intelligence Underwriting Company, zkráceně AIUC.

TechCrunch 15. září 2026 informoval, že firma získala 40 milionů dolarů v investičním kole vedeném Ribbit Capital. AIUC vyvinula standard AIUC-1 a službu pro testování a certifikaci agentů. Pro tým, který agenta vybírá, je na tom zajímavější způsob ověřování než velikost investice: vedle předvedených schopností má dostat také přehled slabin.

Co AIUC-1 prověřuje

Firma se inspirovala zavedeným přístupem k bezpečnostním auditům SOC 2. Při tvorbě vlastního standardu podle zakladatelů zapojila přibližně 250 lidí odpovědných za bezpečnost a řízení rizik. Ptala se jich, co potřebují vědět před nákupem AI agenta.

Z těchto požadavků vychází sada zhruba 5 000 testů. Zahrnuje situace, kdy se někdo snaží obejít ochranná pravidla agenta, kdy si agent vymýšlí informace nebo kdy hrozí únik dat. Výsledkem má být přibližně stostránková zpráva popisující, kde se agent chová bezpečně a spolehlivě a kde naopak ne.

Testy přitom provádějí AI agenti a při vyhodnocování dat firma rovněž používá AI. Konečný audit podle spoluzakladatele Runeho Kvista ověřují lidé. Jde o popis služby od jejích tvůrců, nikoli o nezávislý důkaz účinnosti všech testů.

Certifikace AI agenta není záruka pro každou úlohu

Číslo 5 000 samo o sobě neříká, jestli testy odpovídají tomu, k čemu chceš agenta používat. Pro zákaznickou podporu potřebuješ jiné důkazy než pro pomocníka, který upravuje kód. Rozhodující je, co se zkoušelo a za jakých podmínek.

Ze zprávy také neplyne, že AIUC bude nepřetržitě dohlížet na agenta uvnitř tvé firmy. Popsaná služba nabízí externí posouzení. Neznamená automaticky záruku, že agent při každém dalším použití dodrží všechna pravidla.

Praktický význam auditu proto vidíme v podkladu pro konkrétní rozhodnutí: k jaké práci můžeš agenta pustit a co mu zatím nesvěřit. Certifikát tento podklad může shrnout, ale neměl by ho nahrazovat.

Jak se ptát dodavatele agenta pro podporu

Vezměme ilustrační příklad malého e-shopu. Chceš agenta, který dohledá stav objednávky a připraví odpověď zákazníkovi. Před nákupem by tě mělo zajímat nejen to, zda úlohu dokončí, ale také zda neukáže cizí osobní údaje nebo neslíbí vrácení peněz, ke kterému nemá oprávnění.

Od dodavatele si proto vyžádej odpovědi na tři otázky:

• Co přesně prošlo testem? Samotný model, nebo agent s přístupem k nástrojům a datům v konkrétním nastavení?
• Jak dopadly situace podobné té tvé? Ptej se na oddělení zákaznických údajů, nepodložené odpovědi a pokusy vynutit si nepovolenou akci.
• Co zůstalo nevyřešené? Zajímají tě známá selhání a omezení, ne jen celkové hodnocení.

To jsou naše doporučení pro výběr dodavatele, nikoli doložený seznam povinných položek standardu AIUC-1. Pokud zatím nemáš důkaz, že agent bezpečně zvládá změny objednávek, můžeš jeho roli omezit na přípravu návrhu. Změnu nebo vrácení peněz pak schválí odpovědná osoba.

Chtěj výsledky, které se týkají tvé práce

AIUC ukazuje jeden konkrétní způsob, jak posuzovat bezpečnost AI agentů mimo tým jejich dodavatele. Zpráva o firmě ale neuvádí cenu služby ani výsledky konkrétního auditu, podle kterých by šlo posoudit její přínos pro malý tým. Není tedy podkladem k doporučení, aby si každý hned pořizoval certifikaci.

Užitečný krok můžeš udělat i bez ní. Vyber jednu činnost, kterou chceš agentovi svěřit, a požádej dodavatele o výsledky testů jejích nejrizikovějších situací. U agenta pro podporu začni jednoduchou otázkou: jak máte ověřené, že zákazník nedostane údaje někoho jiného?

Zdroj

Julie Bort, TechCrunch: zpráva o AIUC a testování AI agentů, 15. září 2026