Booz Allen otestoval 18 modelů na útoky. Celý řetězec zvládl sám jen jeden
První Cyber Weapon Index od Booz Allen porovnal 18 amerických a čínských modelů.
V kostce
- Poradenská firma Booz Allen zveřejnila první Cyber Weapon Index, ve kterém za stejných podmínek otestovala 18 modelů, devět amerických a devět čínských.
- Celý útočný řetězec od průniku po ovládnutí sítě dokončil bez pomoci člověka jediný model, Claude Mythos od Anthropicu, se skóre 80 ze 100.
- Zásadní zjištění není žebříček, ale zjištění, že nástavba kolem modelu váží stejně jako model sám: Claude Sonnet se s útočnou nástavbou podle zprávy vyrovnal Mythosu.
Booz Allen zveřejnil 2. září první ročník indexu, který měří, nakolik umí jazykové modely samostatně hledat zranitelnosti, vyrábět útočné nástroje a provést útok od začátku do konce. Testovalo se 18 modelů, devět od amerických a devět od čínských vývojářů, za stejných podmínek. Výsledné skóre skládá firma ze dvou částí: jak model hledá zranitelnosti a jak daleko se dostane v celém průniku, měřeno zvlášť s ukradenými přihlašovacími údaji a bez nich.
Pořadí vede Claude Mythos od Anthropicu se skóre 80. Následuje Grok-4.5 s 49 body, GPT-5.6 Sol se 46, Muse Spark 1.1 a Kimi K3 s 38, GLM-5.2 se 37 a Claude Opus 4.8 se 36. Nejnižší hodnocení dostal Qwen3-Coder se čtyřmi body. Model GPT-6 Astra, který OpenAI vydalo den po zveřejnění indexu, v testu nebyl.
Mythos byl jediný, kdo prošel celý řetězec bez zásahu člověka. Když mu testující dali ukradené přihlašovací údaje zaměstnance, pronikl do cílové sítě a získal správcovská oprávnění při každém pokusu. Cestu k vyšším oprávněním si podle zprávy našel sám podle toho, co v síti objevil, nikoli podle předem daného plánu. I bez přihlašovacích údajů se dostal dovnitř a nakonec ovládl celou doménu. Další tři modely, Grok-4.5, Muse Spark 1.1 a GLM-5.2, ovládly doménu také, ale ne bez pomoci. Až na Qwen3-Coder pronikl do sítě samostatně každý testovaný model.
Podstatnější než pořadí je ale zjištění o nástavbě. Tou se rozumí software, který model propojí s hackerskými nástroji a řídí jeho postup. Podle autorů dokáže model udržet u úkolu, měnit postup a řetězit jednotlivé kroky do vícefázového útoku. Výsledkem podle zprávy není chytřejší model, ale systém, který jeho schopnosti zpřístupní a sníží odbornost potřebnou k jejich použití. Konkrétní důkaz: s útočnou nástavbou se Claude Sonnet, který v holém žebříčku skončil s 13 body, vyrovnal Mythosu.
Druhé zjištění mluví pro obránce. Proti zranitelnostem, které testující do systémů schválně zasadili, dosáhly modely téměř plného počtu bodů napříč americkými, čínskými, otevřenými i uzavřenými modely. Proti skutečným chybám ale všech devět špičkových modelů dostupných přes rozhraní API skončilo na nule. Jeden nejmenovaný model podle zprávy zranitelnou součást správně rozebral a pak ji vyhodnotil jako bezpečnou, zatímco Claude Mythos ji podle The Registeru jako jediný zneužil. V tomto bodě si zpráva sama odporuje a stojí za to to říct nahlas. Booz Allen z toho vyvozuje, že skutečná útočná schopnost stále zaostává za výsledky v testech, a že právě v této mezeře mají obránci čas.
Ten čas je ale krátký. Firma odhaduje, že většina zbývajících sedmnácti modelů dosáhne úrovně Mythosu do šesti měsíců, a útoky s využitím AI ze strany ransomwarových skupin i státem podporovaných útočníků označuje za bezprostředně hrozící. Čínské modely podle indexu za americkou špičkou zaostávají, ale ne výrazně.
Co to znamená
Pro české firmy plynou ze zprávy dvě věci, které se dají použít hned. Zaprvé, hodnocení rizika modelu podle jeho pozice v žebříčku je zavádějící, protože nástavba kolem modelu dokáže rozdíl mezi třináctibodovým a osmdesátibodovým modelem smazat. Do posouzení rizik podle nařízení o AI i směrnice NIS2 proto nepatří jen jméno modelu, ale i to, jaké nástroje a jakou automatizaci kolem něj někdo postavil. Zadruhé, ta půlroční lhůta je použitelný plánovací horizont. Odolnost proti útoku, který postupuje strojovou rychlostí a nepotřebuje operátora, stojí na věcech, které trvají měsíce: segmentace sítě, omezení postranního pohybu, detekce neobvyklého zvyšování oprávnění a schopnost zasáhnout bez čekání na člověka. Kdo s tím začne, až budou útoky běžné, začne pozdě.
Zdroje
- Booz Allenboozallen.com
- The Registertheregister.com
- SC Mediascworld.com