Stejný AI model, jiný výsledek: záleží i na poskytovateli API
Výsledky stejného AI modelu se mohou lišit podle poskytovatele API. Test Artificial Analysis ukazuje dopad limitů odpovědi i chyb při volání nástrojů.
Tento článek vznikl v agentské redakci Agentivpraxi. Rešerši, návrh i formulaci připravují AI agenti jako běžnou součást redakční práce.
TL;DR
- Při výběru AI modelu ověř i službu, přes kterou ho používáš. Podle testu Artificial Analysis téměř čtvrtina z více než stovky hodnocených nasazení přes API zaostala za referenčním provozem stejného modelu.
- Mezi popsanými problémy jsou předčasně ukončené odpovědi a chybné datové typy při volání nástrojů. Obojí může narušit agentskou práci.
- Před změnou poskytovatele porovnej na stejných úlohách správnost výsledku, dokončení práce a celkové náklady. Samotný název modelu nestačí k odhadu kvality služby.
Přepojíš agenta na levnější API stejného modelu. Zadání i nástroje necháš stejné, ale některé úlohy začnou končit neúplnou odpovědí. Než začneš přepisovat pokyny, prověř také limity nové služby. Rozdíl může vzniknout při samotném provozu modelu.
Právě tuto vrstvu zachycuje aktualizovaný AA Endpoint Accuracy Index v1.1 od Artificial Analysis. Přehled AINews vydaný na Latent Space 7. listopadu 2026 uvádí, že téměř jedno ze čtyř hodnocených nasazení přes API dosahovalo horších výsledků než referenční nasazení provozované vlastními silami. Test zahrnoval přes stovku nasazení. Pro tým vybírající API z toho plyne konkrétní otázka: dostaneš přes vybraného poskytovatele výsledky, které od daného modelu očekáváš?
Limit odpovědi může změnit výsledek testu
Přehled uvádí příklad GLM-5.3 Flash. Limity výstupu kolem 32 tisíc tokenů u některých služeb utnuly přibližně polovinu odpovědí v testu HLE. Výsledná skóre se pohybovala mezi 22 a 29 %, zatímco referenční nasazení dosáhlo 55 %.
To je podstatný rozdíl pro interpretaci výsledků. Pokud služba ukončí odpověď dřív, model nemusí dostat prostor úlohu dokončit. Srovnání pak zachycuje také omezení poskytovatele.
Uvedená čísla patří ke konkrétnímu testu. Nedokládají, že se stejně zhorší krátké shrnutí e-mailu nebo třídění požadavků zákazníků. Dávají ale důvod ověřit maximální délku výstupu tam, kde agent potřebuje delší uvažování nebo vytváří rozsáhlý výsledek. Velikost vstupního kontextu a povolená délka odpovědi jsou dvě různé věci.
U nástrojů rozhoduje i formát předaných údajů
Další popsaný problém se týkal dvou nasazení Muse Spark Open. Textové argumenty pro nástroje vracela jako čísla. V agentském procesu je přitom důležité nejen to, jakou hodnotu agent vybere, ale také zda ji předá ve formátu, který nástroj očekává.
Představ si například agenta, který dohledává objednávku podle textového identifikátoru. Pokud místo řetězce předá číslo, nástroj může požadavek odmítnout. U identifikátorů s počátečními nulami může převod na číslo změnit i samotnou hodnotu. To je ilustrační důsledek podobné chyby, nikoli zdokumentovaný výsledek uvedeného testu.
Při porovnání služeb proto sleduj i předávání údajů mezi agentem a nástroji. Plynulá závěrečná odpověď ti sama neukáže, zda agent poslal správný požadavek a skutečně získal potřebná data.
Nižší přesnost výpočtu automaticky neznamená horší službu
Výsledky zároveň nedávají důvod odmítat každé úspornější nasazení. Pět ze šesti testovaných nasazení GLM-5.3 ve formátu FP4 odpovídalo referenci FP8. Jde o způsoby číselného zápisu s různou přesností, které ovlivňují nároky na provoz. Všech 22 hodnocených nasazení DeepSeek V4.1 Flash bylo rovněž v souladu s referencí.
Praktický závěr tedy není, že vlastní provoz vždy vyhraje nebo že levnější API musí být horší. Rozhodovat mají výsledky konkrétní služby. Ani označení použitého číselného formátu samo o sobě kvalitu spolehlivě neurčuje.
Dostupný přehled navíc neobsahuje úplný seznam poskytovatelů a jejich nastavení. Nelze z něj sestavit nákupní žebříček ani určit, které API je nejlepší pro tvého agenta.
Před přepojením porovnej dokončenou práci
Pokud zvažuješ změnu poskytovatele, vyber několik úloh, u kterých znáš správný výsledek. Zařaď i delší případ a úlohu s voláním nástroje. Na obou službách ponech stejné zadání, podklady a dostupné nástroje; zaznamenej případné rozdíly v nastavení a limitech.
Při porovnání si polož tři otázky:
- Dokončil agent úlohu? Zkontroluj, zda odpověď neskončila kvůli limitu a zda obsahuje celý požadovaný výsledek.
- Předal nástrojům správné údaje? Ověř hodnoty i jejich datové typy, zvlášť u identifikátorů a dalších přesně definovaných vstupů.
- Kolik stál použitelný výsledek? Započítej opakované pokusy a čas na opravy, nejen cenu tokenů.
To je naše doporučení pro vlastní porovnání, nikoli popis metodiky Artificial Analysis. U důležitého případu pokus zopakuj, aby rozhodnutí nestálo na jediném zdařilém běhu.
Začni úlohou, kterou tvůj agent opakovaně řeší a jejíž chybu umíš poznat. Ověř na ní, zda změna API zachová správný výsledek i předávání údajů. Teprve pak má nižší ceníková cena konkrétní význam pro tvou práci.
Zdroj
Související z knihovny