Anthropic vyvíjí FlashProve pro důkaz identity modelu

V kostce

• FlashProve dokazuje asi 110 tokenů za sekundu na 1 H100
• Důkaz má 18,78 MB a ověření trvá 17 sekund
• Kód je otevřený na GitHubu pod licencí Apache 2.0

Společnost Anthropic v blogovém příspěvku zveřejněném v úterý oznámila vývoj otevřeného systému FlashProve pro kryptografické ověření toho, který model vytvořil daný výstup. Systém má poskytnout takzvanou prokazatelnou inferenci, tedy matematickou záruku, že odpověď pochází od konkrétního modelu. Cílem je umožnit uživatelům ověřit, že odpověď skutečně přišla od modelu, který očekávají.

Princip autoři přirovnávají ke kryptografickým podpisům e-mailů, které příjemci umožňují ověřit odesílatele. Podle zdroje TechCrunch AI má být systém odolný i vůči vydávání jednoho modelu za jiný v případě, kdy za záměnou stojí samotná laboratoř, která model provozuje. Výzkumníci jako příklad uvádějí tajné nahrazení dražšího modelu levnějším kvůli úspoře nákladů, nebo naopak nasazení dražšího modelu pro navýšení výsledků testů výkonu.

Dalším zamýšleným použitím je ověřování tvrzení třetích stran o použití pokročilého modelu. Výzkumníci podle zdroje TechCrunch AI uvádějí situace, kdy vývojář tvrdí, že jeho knihovnu zkontroloval špičkový model pro kybernetickou bezpečnost, nebo kdy firma tvrdí, že její plán posoudil odpovídající model. V takových případech má uživatel získat nástroj, jak tato tvrzení ověřit.

Podmínkou fungování je, že laboratoře zveřejní takzvaný otisk každého vydaného modelu, který lze později kryptograficky porovnat s konkrétními výstupy. Otisky přitom neodhalují váhy modelu, tedy vnitřní číselné hodnoty určující jeho chování, které si provozovatelé uzavřených modelů ponechávají v tajnosti. Systém je proto navržen tak, aby fungoval i s komerčními modely, a ověření má být dostatečně nenáročné pro běh na lokálním zařízení.

Technickou podstatu systému podrobněji popisuje zdroj Marktechpost. FlashProve vyvinul tým Frontier Red Team společnosti Anthropic jako otevřený výzkumný prototyp pro prokazatelnou inferenci založený na důkazovém systému zkSNARK. Důkaz podle něj neodhaluje nic o vahách modelu a řeší praktický problém, kdy uživatel volání přes programové rozhraní dnes nemůže ověřit, který model na dotaz skutečně odpověděl.

Prototyp se skládá ze strany dokazující a ověřující, tedy poskytovatele modelu a uživatele, a pracuje ve dvou fázích. V offline fázi poskytovatel zveřejní závazek, krátký otisk vázaný na jednu přesnou sadu vah. Podle zdroje Marktechpost trvá jeho vytvoření asi 39 minut a pokrývá přibližně 16 milionů požadavků. V online fázi grafický procesor pro každý požadavek vytvoří důkaz, že uvedené tokeny vytvořil právě model odpovídající závazku.

Pro rychlost jsou podle zdroje Marktechpost klíčové tři konstrukční volby. Práce dokazující strany roste s přibližně 17 miliardami aktivních parametrů na token, nikoli se všemi 400 miliardami parametrů testovaného modelu. Požadavky se dokazují dodatečně v dávkách a váhy se průběžně načítají z hostitelské paměti, takže postačuje jeden grafický procesor s kapacitou 80 GB. Systém pro převod interaktivního důkazu využívá hašovací funkce a podle sdělení společnosti Anthropic nabízí postkvantovou bezpečnost.

Měření proběhlo na veřejně dostupných 4bitových vahách modelu Llama 4 Maverick, což je model typu mixture-of-experts s přibližně 400 miliardami parametrů a asi 17 miliardami aktivních parametrů na token. Podle zdroje Marktechpost dosahuje dokazování rychlosti asi 110 tokenů za sekundu na jednom čipu H100. Dokazující strana potřebuje jeden čip H100 s kapacitou 80 GB, 24 jader procesoru a přibližně 290 GB hostitelské paměti, zatímco ověřující strana vystačí s procesorem bez grafického čipu.

Kontext je omezen na 1 024 tokenů na požadavek. Při dávce 24 požadavků výkon činil 111,23 tokenu za sekundu a zpracování dávky trvalo přibližně 221 až 226 sekund, zatímco při dávce jednoho požadavku výkon činil 17,41 tokenu za sekundu. Velikost důkazu činí 18,78 MB, klient si jednou pro každý závazek stáhne přibližně 6,5 MB dat a ověření trvá 17 sekund na 24 vláknech a 21 sekund na jednom vlákně, uvedl zdroj Marktechpost. Náklady na dokazování odpovídají přibližně 70krát až 95krát vyššímu času grafického procesoru než při prosté inferenci v systému vLLM.

Zdroj Marktechpost srovnává FlashProve s dřívějšími otevřenými systémy pro důkazy o chování modelů a uvádí řádově vyšší propustnost na stejném 400miliardovém modelu. Například systém VerInf měl podle tohoto srovnání dosahovat přibližně 0,02 tokenu za sekundu s důkazem o velikosti 93,6 GB a ověřením trvajícím 17,7 hodiny. Toto srovnání zachovává názvy systémů a je třeba ho číst jako přehled uváděných hodnot, nikoli jako obecné hodnocení inteligence modelů.

Z hlediska bezpečnosti společnost Anthropic formalizovala protokol v jazyce Lean, a to včetně vlastností úplnosti, spolehlivosti a nulové znalosti. Podle souboru README je podvádějící poskytovatel odhalen s výjimkou pravděpodobnosti přibližně q děleno 2 na 124 plus 2 na minus 101, uvedl zdroj Marktechpost. Systém obsahuje dva ověřovače, rychlý ověřovač v jazyce C++ pro běžné použití bez formální záruky a pomalejší ověřovač v jazyce Lean, u něhož je dokázáno, že přijme pouze to, co připouští věta o spolehlivosti.

Součástí oznámení jsou podrobná technická specifikace a funkční kód pro různé části systému, veřejně dostupné na GitHubu pod otevřenou licencí. Výzkum systému pokračuje a zatím není plánováno jeho nasazení ve společnosti Anthropic ani v jiné laboratoři. Výzkumníci podle oznámení sdílejí průběžné výsledky s cílem, aby je ostatní převzali a vylepšili.

Zdroje

1. TechCrunch AItechcrunch.com
2. Marktechpostmarktechpost.com