Zyphra představila ZHA pro kontext 256 tisíc tokenů
Zyphra v listopadu 2026 představila metodu ZHA, která stromovým vyhledáváním vybírá klíče z paměti a doplňuje zmrazené modely.
V kostce
- ZHA přidává 81 920 parametrů k modelu Qwen3.6-35B-A3B
- Testován byl kontext do 256 tisíc tokenů
- LongBench v2: 63,4 % oproti 58,0 % husté pozornosti
Společnost Zyphra v listopadu 2026 představila metodu Zyphra Hierarchical Attention (ZHA) pro řídkou pozornost s hierarchickým stromovým indexem. Metoda doplňuje zmrazený model Qwen3.6-35B-A3B o 81 920 trénovatelných parametrů, tedy asi 0,00024 % jeho velikosti, a byla testována do kontextu 256 tisíc tokenů. Podle zdroje Marktechpost cílí na úzké místo řídké pozornosti, kdy samotný výběr tokenů stále prochází celý kontext.
ZHA ponechává plnou paměť klíčů a hodnot a strom slouží pouze k rozhodnutí, které uložené klíče má dotaz číst. Klíče se dělí do souvislých bloků a každý blok se komprimuje do souhrnného klíče, souhrny se pak opakovaně seskupují a komprimují do vyšších úrovní. Při velikosti bloku 4 pokrývá šest úrovní 4 096 tokenů na jeden vrcholový uzel, uvedl Marktechpost.
Souhrny vznikají z malé sady naučených referenčních dotazů. Každý referenční dotaz poskytuje odhad pozornosti bloku a maximum z těchto odhadů aproximuje, jakou pozornost by bloku věnoval budoucí dotaz. Při dekódování dotaz ohodnotí uzly nejvyšší úrovně a ponechá nejmenší množinu nesoucí podíl p odhadované pozornosti, poté rozvine pouze jejich potomky až k surovým záznamům paměti.
Rozpočet výběru je díky prahu top-p adaptivní, takže vyhledávání jednoho faktu otevře málo větví a dotaz na více rozptýlených faktů jich otevře více. První token je vždy ponechán jako stabilizační bod pozornosti. Lehká konfigurace pro modelování latence používá podle zdroje jeden referenční dotaz, blok 8 a práh p 0,75, zatímco hlavní testy na modelu Qwen3.6-35B-A3B využily dvě geometrie stromu.
Zyphra převedla model Qwen3.6-35B-A3B se dvěma stromy, hlubokým s blokem 4 a šesti úrovněmi a širokým s blokem 256 a jednou úrovní, oba se 16 referenčními dotazy a prahem 0,95. Trénován byl pouze index, základ modelu zůstal zmrazený a ztrátová funkce KL vyrovnávala hustou pozornost po blocích na každé úrovni. Převod pro modely Qwen a Nemotron využil 3,98 miliardy tokenů během 1 900 kroků při kontextu 32 tisíc tokenů.
Na sedmi testech uvažování, kódování a vyhledávání se ZHA od husté pozornosti lišila o jednotky bodů. Na benchmarku LongBench v2 dosáhl hluboký strom 63,4 % oproti 58,0 % u husté pozornosti při čtení asi 1,1 % klíčů. Na testu RULER-13 při 256 tisících tokenech dosáhl hluboký strom 93,3 % a široký strom 96,2 % proti 96,0 % u husté pozornosti, zatímco srovnávaná metoda MiniMax Sparse Attention skončila na 77,1 %.
Rozdíly se projevily i v dalších úlohách. V testech AIME 2026, SWE-bench Verified, Terminal-Bench 2.1, MMLU-Pro a GPQA Diamond se oba stromy ZHA pohybovaly blízko husté pozornosti, přičemž široký strom dosáhl v testu Terminal-Bench 2.1 hodnoty 53,3 % proti 49,9 % husté pozornosti. Podle zdroje zůstala přesnost na RULER stabilní při čtení 10 až 30 % klíčů a při stejné kompresi si hlubší stromy udržely přesnost i při vyšší řídkosti.
Výsledky jsou podle zdroje citlivé na architekturu a geometrii. Na modelu Nemotron-3.5-Lightning-30B-A3B bez pozičního kódování klesl hluboký strom na testu RULER-13 o 25,3 bodu pod hustou pozornost. Zyphra rovněž uvádí, že modely pod 1 miliardou parametrů měly při převodu potíže a výsledky se výrazně zlepšily od 4 miliard parametrů výše.
Údaje o rychlosti nejsou měřením, ale modelací latence dekódování jedné vrstvy pro velikost dávky 1 na grafickém procesoru H100 v přesnosti BF16. V tomto modelu ZHA překonává hustou pozornost od asi 48 tisíc tokenů a metodu MSA od asi 0,48 milionu tokenů. Při 1 miliardě tokenů model předpovídá 373 až 417násobné zrychlení proti husté pozornosti a 52 až 58násobné proti MSA, při 10 milionech tokenů pak 32 až 35násobné a 4,7 až 5,1násobné zrychlení.
Při 256 tisících tokenech jsou modelované přínosy střídmější, s 1,93 až 2,28násobným zrychlením proti husté pozornosti při 92,7 až 96,4 % v testu RULER-13. Směrování a výběr přitom samy nesou vlastní náklady. Zyphra nevydala optimalizovaná výpočetní jádra a testována byla také varianta směrovače FP4, uvedl Marktechpost.
Zdroje
- Marktechpostmarktechpost.com