Rychlost AI modelů pod lupou: tokeny za sekundu a latence (červenec 2026)

V červenci 2026 se trh s umělou inteligencí štěpí na dvě odlišné skupiny podle priorit nasazení. Zatímco některé aplikace vyžadují okamžitou odezvu pro konverzaci, jiné potřebují maximální kvalitu odpovědí bez ohledu na čekací dobu. Předložená data porovnávají klíčové parametry výkonu u dvanácti předních modelů od tvůrců jako Google, OpenAI či Anthropic. Cílem je věcně oddělit marketingová tvrzení od reálných čísel tokenu za sekundu a latence, která určují použitelnost v praxi.

Medián tokenů za sekundu.

Rychlost generování versus čas do první odpovědi

V kategorii průtoku dat jasně dominuje model Gemini 3.5 Flash od společnosti Google s hodnotou 251,2 tokenů za sekundu, což výrazně převyšuje konkurenci. Následuje čínský model Qwen3.7 Max s výkonem 200 tokenů za sekundu a GLM-5.2 se 191,6 tokeny za sekundu. Na opačném konci spektra se nachází model Kimi K2.6, který generuje pouze 33,9 tokenů za sekundu, což představuje řádově nižší throughput než u lídra žebříčku. Podle předpočítaných údajů činí poměr mezi nejrychlejším a nejpomalejším modelem v tabulce 7,4×.

Situace u času do prvního tokenu (TTFT) ukazuje ještě dramatičtější rozdíly v architektuře modelů. Nejrychlejší reakci vykazuje model GLM-5.2 s hodnotou 0,89 sekundy, těsně následovaný MiniMax-M3 s 1,5 sekundy a Qwen3.7 Max s 1,57 sekundy. Naproti tomu model GPT-5.6 Terra od OpenAI vykazuje extrémní latenci 62,31 sekundy, což činí jeho použití pro chatboty v reálném čase prakticky nemožné. Rozpětí TTFT v tabulce se pohybuje od 0,89 až 62,31 sekundy, což ilustruje propast mezi optimalizací pro streamování a batchové zpracování.

Inteligence jako brzdící faktor výkonu

Data odhalují silnou negativní korelaci mezi indexem inteligence a rychlostí odezvy. Model s nejvyšším indexem inteligence 59,9, kterým je Claude Fable 5 od Anthropic, dosahuje velmi nízkého průtoku 66,7 tokenů za sekundu a trpí vysokou latencí 46,22 sekundy. Podobný vzorec platí pro GPT-5.6 Terra s indexem 55 a TTFT 62,31 sekundy. Naopak modely s nižším indexem inteligence, jako je Gemini 3.5 Flash s hodnotou 50,2, nabízejí násobně vyšší rychlost generování textu.

Tento trend naznačuje, že současné metody zvyšování kvality odpovědí jsou technicky náročné a vyžadují významné výpočetní zdroje, které zpomalují inferenci. Model Grok 4.5 s indexem 53,8 se nachází ve střední pásmu s TTFT 16,24 sekundy, zatímco GLM-5.2 dokázal udržet vysoký index inteligence 51,1 při zachování vynikající rychlosti 0,89 sekundy pro první token. Toto je jediná výjimka, která bourá obecné pravidlo o nutnosti volby mezi rychlostí a kvalitou.

Volba modelu podle typu nasazení

Pro nasazení vyžadující interaktivitu, jako jsou zákaznické chatboty nebo asistenti v reálném čase, jsou rozhodující hodnoty TTFT pod dvě sekundy. V této kategorii jsou jedinými vhodnými kandidáty modely GLM-5.2, MiniMax-M3, Qwen3.7 Max a Kimi K2.6. Použití modelů s TTFT přesahujícím deset sekund, jako je Gemini 3.1 Pro Preview s 21,85 sekundy nebo Claude Opus 4.8 s 25,01 sekundy, by vedlo k nepřirozeným prodlevám v konverzaci a ztrátě uživatele.

Naopak pro dávkové zpracování dokumentů, shrnování dlouhých textů nebo analytické úlohy, kde není důležitá okamžitá reakce, směřuje výběr k modelům s vysokým indexem inteligence. Zde mají prioritu systémy jako Claude Fable 5, Claude Opus 4.8 nebo GPT-5.5 s indexem 54,8. Firmy musí akceptovat, že za vyšší kvalitu logického uvažování platí nižším průtokem tokenů, který u modelu Claude Fable 5 činí pouze 66,7 tokenů za sekundu.