V kostce:
- Anthropic identifikoval pět případů pokusů o využití Claude pro výzkum biologických zbraní.
- Zpráva uvádí šest případů vývoje softwaru pro konvenční zbraně a tři vojenské vývojové projekty v Íránu, dva v Rusku a jeden v Jemenu.
- Senátor Bernie Sanders požádal o pozastavení vývoje pokročilé AI na základě těchto zjištění.
Anthropic zveřejnila 154stránkovou zprávu, ve které popisuje pět případů, kdy uživatelé obcházeli bezpečnostní filtry a pokoušeli se využít model Claude k výzkumu, který by mohl podpořit vývoj biologických zbraní. V rámci těchto případů se jednalo o uživatele z regionů, které společnost zakazuje přístup k modelům, včetně Ruska, Číny a Íránu.
Zpráva dále uvádí šest případů, kdy uživatelé používali Claude k vývoji softwaru pro konvenční zbraně, včetně střelných zbraní, raket, ozbrojených dronů a munice. Tyto případy zahrnují i vývoj zaměřovacích a řídicích systémů. Anthropic v každém z těchto případů okamžitě zablokoval přístup účtů.
Mezi vojenskými projekty se vynikly tři případy vývoje v Íránu, dva v Rusku a jeden v Jemenu. Kromě toho byla zjištěna ruská operace zaměřená na vývoj autonomního roje vojenských dronů, která využívala modely Claude k návrhu a optimalizaci dronových systémů.
Zpráva rovněž dokumentuje devět vlivových operací vedených z Ruska, Íránu, Turecka a dalších zemí. Tyto operace využívaly AI k plánování kampaní, generování dezinformačního obsahu a správě falešných profilů. Obsah se objevil v médiích spojených s ruskou vládou, jako je Sputnik, RIA Novosti a RT.
Kromě vojenských a biomedicínských případů se v zprávě objevily i jiné formy zneužití. Patří sem například falešné seznamovací aplikace, podvody přes hotelové Wi‑Fi sítě a nástroje na sledování disidentů. Všechny tyto aktivity byly realizovány pomocí modelů Claude Haiku, Sonnet a Opus.
Anthropic upozorňuje, že stejné znalosti, které mohou podpořit vývoj biologických zbraní, mohou být využity i k vývoji vakcín nebo léků. Rozlišit legitimní výzkum od zneužití je proto obtížné, což komplikuje nastavení účinných bezpečnostních opatření.
Mezi interními reakcemi se vyskytla odchod výzkumníka Jacoba Coxona z firmy kvůli obavám z rychlého vývoje systémů schopných samostatného zdokonalování. Na politické úrovni reagoval senátor Bernie Sanders, který požadoval pozastavení vývoje pokročilé AI, zatímco prezident Donald Trump takové hlasy odmítl.
Co to znamená: Firmy, které implementují AI, musí pečlivě sledovat přístup k modelům, zajišťovat robustní bezpečnostní filtry a pravidelně auditovat využití AI v oblasti výzkumu a vývoje zbraní. Důraz na transparentnost a spolupráci s regulačními orgány je klíčový pro minimalizaci rizik spojených s pokročilými modely AI.
Zdroje: