DeepSeek otevřel DeepInfer: cenu práce agentů ovlivňuje opakovaný kontext

TL;DR

• DeepSeek zveřejnil DeepInfer, výpočetní jádro pro provoz modelu V4.1 Flash. Jeho provozní údaje ukazují, jak výrazně může náklady ovlivnit opakované využití už zpracovaného kontextu.
• Firma uvádí 155 bilionů obsloužených tokenů denně na jednom výpočetním clusteru. Údaj zahrnuje opakovaně využité vstupy; nejde o množství nově vytvořeného textu.
• Při výběru provozu pro agenta porovnej cenu a čas celé úlohy při prvním spuštění i při navázání. Zveřejněný kód zatím neobsahuje všechny části produkční služby.

Kódovací agent se při práci opakovaně vrací ke stejným instrukcím, souborům a předchozím výsledkům. Při každém dalším kroku tak může model dostávat velkou část stejného vstupu. Náklady pak závisí i na tom, zda provozovatel dokáže využít předchozí výpočet, nebo musí společný začátek vstupu zpracovat znovu.

Právě tuto část ekonomiky agentské práce přibližuje DeepInfer, který DeepSeek zveřejnil jako open-source software. Podle přehledu Latent Space z 21. října pohání model DeepSeek V4.1 Flash a vychází z projektu vLLM. Pro menší tým je zpráva užitečná především při posuzování nabídky poskytovatelů AI: samotná cena za milion tokenů nevystihuje, kolik bude stát opakovaná práce nad stejnými podklady.

Co DeepInfer zpřístupňuje

DeepInfer zajišťuje inferenci, tedy výpočet, při kterém už natrénovaný model zpracovává vstup a vytváří odpověď. Podporuje rozdělení výpočtu mezi více akcelerátorů, strukturované výstupy a spekulativní dekódování, při němž se předběžně navržené tokeny následně ověřují. Počítá s platformami NVIDIA i Huawei Ascend.

Doprovodná komponenta deepseek-recipe řeší zpracování vstupů a výstupů pro rozhraní jako Chat Completions, Responses a Messages. Vývojářům tak zpřístupňuje i část práce potřebné k napojení modelu na aplikaci.

Rozsah vydání má ale podstatnou hranici. Správa mezipaměti KV, která uchovává mezivýsledky zpracování kontextu, a rozdělování požadavků mezi pracovní uzly zatím nejsou plně zveřejněné. Z dostupného kódu proto nelze jednoduše sestavit celou službu se stejnými vlastnostmi, jaké DeepSeek popisuje ze svého provozu.

Proč 155 bilionů tokenů potřebuje vysvětlení

DeepSeek ve své technické zprávě uvádí 155 bilionů obsloužených tokenů za den na jednom clusteru a 96% podíl zásahů do mezipaměti u vstupu. Jde o údaje firmy, nikoli o nezávisle ověřené provozní měření.

Obě čísla je potřeba číst společně. Započítaný token může patřit ke vstupu, pro který už existuje použitelný výsledek předchozího výpočtu. Jeho obsluha má jiné nároky než zpracování nového vstupu nebo vytvoření dalšího tokenu odpovědi. Denní objem obsloužených tokenů proto nelze zaměňovat za objem nově vygenerovaného textu.

Firma popisuje uchovávání opakovaně použitelných částí kontextu po tři dny pro agentský provoz. To může pomoci například agentovi, který se po přestávce vrací ke stejnému projektu. Výhoda ovšem závisí na tom, kolik vstupu lze skutečně znovu využít. U práce s neustále novými podklady bude poměr jiný.

Výkon jádra ještě neurčuje cenu celé služby

Zajímavé srovnání zveřejnil tým vLLM. Podle jeho vlastního měření se propustnost při generování tokenů na GB200 v odpovídající konfiguraci vešla do 6% rozdílu oproti publikovaným výsledkům DeepInfer. To naznačuje, že podobný výkon této části výpočtu může být dostupný i v existujícím otevřeném nástroji.

Srovnání však nepokrývá celou službu: dlouhodobé ukládání kontextu, směrování požadavků ani čekání uživatele při skutečném provozu.

Stejnou opatrnost vyžadují ekonomické údaje. DeepSeek uvádí tržbu 38 dolarů za hodinu akcelerátoru při cenách mimo špičku. Z toho samotného nelze určit zisk. Vedle akcelerátorů stojí peníze úložiště, síť, rezervní kapacita i lidé zajišťující provoz. Odhady vysokých marží navíc závisejí na velmi příznivém podílu opakovaně použitých vstupů.

Co si změřit u vlastního agenta

Představ si agenta, který postupně upravuje kód jedné aplikace. Instrukce a část souborů zůstávají stejné, přibývají výsledky testů a nové změny. To je vhodný ilustrační případ pro ověření přínosu mezipaměti.

Při porovnání poskytovatelů sleduj:

• První průchod úlohou: cenu, čekání na začátek odpovědi a čas do dokončení.
• Navázání na stejnou práci: zda se opakovaný vstup účtuje odlišně a zda se zkrátí čekání.
• Návrat po přestávce: jak dlouho se předchozí výpočet dá využít a za jakých podmínek.

Výsledek posuzuj spolu s kvalitou dokončené úlohy. Rychlejší generování samo neukazuje, zda agent provedl změnu správně.

Pokud používáš hotové API, přínos DeepInfer se k tobě může dostat prostřednictvím nabídky provozovatelů. Pokud zvažuješ vlastní infrastrukturu, počítej i s částmi služby, které vydání nepokrývá. Začni měřením jedné opakované úlohy ze své práce: kolik stojí poprvé a kolik při dalším navázání?

Zdroj

Latent Space: DeepSeek DeepInfer, otevřený inferenční software a ekonomika jeho provozu, 21. října 2026