V kostce:

  • Jie Tang, šéf Z.ai, představil model GLM 5.3 s pěti škálovacími faktory namísto počtu parametrů.
  • GLM 5.3 zvládá samostatně řešit úlohy vyžadující více než 20 kroků inference.
  • Rodina otevřených modelů Ornith-1.5 nabízí varianty 9B, 35B a 397B parametrů pod licencí MIT.

Generální ředitel společnosti Z.ai Jie Tang představil nový model GLM 5.3 a zároveň vyzval k opuštění zavedené praxe hodnotit velikost AI modelů primárně podle počtu parametrů. Podle serveru Latent Space Tang tvrdí, že počet parametrů dává smysl jen ve spojení s dalšími faktory · množstvím trénovacích dat, alokací výpočetních zdrojů a prostředím, v němž bude model nasazen k inferenci.

Z.ai v souvislosti s modelem prezentovala novou sadu škálovacích zákonů založenou na pěti faktorech, včetně řídkosti architektury typu Mixture-of-Experts, pro kterou zavedla notaci XA-YB. Podle Latent Space je hlavním zdrojem pokroku GLM 5.3 posilované učení (RL) na dlouhodobých prostředích simulujících reálné pracovní procesy · nikoliv nárůst počtu parametrů jako takový.

Tato prostředí podle popisu zahrnují úkoly odpovídající několika dnům práce zkušeného inženýra. V příkladu s diagnostikou ML infrastruktury dostává model přístup k výpočetním klastrům, úložištím, interní dokumentaci, kódu a výsledkům experimentů a musí samostatně identifikovat úzká místa, implementovat optimalizace a dosáhnout měřitelného zrychlení při zachování správnosti výsledků. Podle Latent Space se s rostoucími schopnostmi agentů těžiště obtížnosti přesouvá z modelu na kvalitu a rozmanitost tréninkových prostředí, která si Z.ai z velké části syntetizuje sama pomocí výzkumných a ověřovacích agentů.

Model podle Tanga prokázal schopnost samostatně zvládat úlohy vyžadující více než dvacet kroků inference bez ztráty logické návaznosti. Dovednosti jako vyhledávání softwarových zranitelností podle něj nejsou úlohami založenými na paměti či vyhledávání, ale vyžadují udržení dlouhých kauzálních řetězců · a jakmile model dosáhne určité prahové úrovně znalostní kapacity, další zlepšení už nezávisí primárně na celkovém počtu parametrů.

Podle Latent Space zakladatel Z.ai v příspěvku na síti X, který server shrnul, uvedl, že pokrok modelů sice pokračuje, ale diskuse se podle něj příliš soustředí na počet parametrů místo na kvalitu dat, výpočet vyhrazený pro inferenci a post-trénink. Jako příklad uvedl právě GLM 5.3, který podle jeho slov vychází ze stejné základní architektury jako GLM 5.2, ale byl výrazně vylepšen přibližně měsícem dodatečného posilovaného učení. Podle žebříčků ValsAI se GLM 5.3 mezi otevřenými modely umístil na druhém místě v Terminal Bench, třetím v Legal Bench a šestém v Skills Bench.

Současně s GLM 5.3 byla oznámena rodina otevřených modelů Ornith-1.5, dostupná ve variantách 9B (hustý model), 35B a 397B (obě architektury Mixture-of-Experts) pod licencí MIT, včetně kvantovaných formátů FP8, GGUF, MLX a NVFP4. Podle Latent Space je hlavním tvrzením kolem Ornith-1.5 schopnost end-to-end sebezdokonalování, kdy model sám navrhuje úlohy, generuje scénáře a vytváří rollouty pro posilované učení, čímž si sám generuje nové trénovací zkušenosti. Modely dosáhly podle uváděných výsledků skóre 86,1 v Terminal-Bench 2.1, 86 v SWE-Bench Verified, 56 v DeepSWE, 44,6 v HLE a 71,2 v Tool Decathlon a byly rychle integrovány do nástrojů pro nasazení vLLM a Ollama.

Co to znamená: Pro firmy provádějící audit a implementaci AI systémů posun od počtu parametrů k víceúrovňovým škálovacím faktorům znamená, že hodnocení modelu se nemůže opírat pouze o jeho velikost. Při výběru a nasazení modelů typu GLM 5.3 nebo Ornith-1.5 bude nutné posuzovat i kvalitu post-tréninkových dat, prostředí pro inferenci a schopnost samostatného vícekrokového rozhodování, což klade nové nároky na testování bezpečnosti a spolehlivosti agentních úloh před produkčním nasazením.

Zdroje: