Anthropic zmařil pokusy o využití Claude k vývoji biologických zbraní

V kostce

• Anthropic identifikoval pět případů pokusů o využití Claude pro výzkum biologických zbraní.
• Zpráva uvádí šest případů vývoje softwaru pro konvenční zbraně a tři vojenské vývojové projekty v Íránu, dva v Rusku a jeden v Jemenu.
• Senátor Bernie Sanders požádal o pozastavení vývoje pokročilé AI na základě těchto zjištění.

Anthropic zveřejnila 154stránkovou zprávu, ve které popisuje pět případů, kdy uživatelé obcházeli bezpečnostní filtry a pokoušeli se využít model Claude k výzkumu, který by mohl podpořit vývoj biologických zbraní. V rámci těchto případů se jednalo o uživatele z regionů, které společnost zakazuje přístup k modelům, včetně Ruska, Číny a Íránu.

Zpráva dále uvádí šest případů, kdy uživatelé používali Claude k vývoji softwaru pro konvenční zbraně, včetně střelných zbraní, raket, ozbrojených dronů a munice. Tyto případy zahrnují i vývoj zaměřovacích a řídicích systémů. Anthropic v každém z těchto případů okamžitě zablokoval přístup účtů.

Mezi vojenskými projekty se vynikly tři případy vývoje v Íránu, dva v Rusku a jeden v Jemenu. Kromě toho byla zjištěna ruská operace zaměřená na vývoj autonomního roje vojenských dronů, která využívala modely Claude k návrhu a optimalizaci dronových systémů.

Zpráva rovněž dokumentuje devět vlivových operací vedených z Ruska, Íránu, Turecka a dalších zemí. Tyto operace využívaly AI k plánování kampaní, generování dezinformačního obsahu a správě falešných profilů. Obsah se objevil v médiích spojených s ruskou vládou, jako je Sputnik, RIA Novosti a RT.

Kromě vojenských a biomedicínských případů se v zprávě objevily i jiné formy zneužití. Patří sem například falešné seznamovací aplikace, podvody přes hotelové Wi‑Fi sítě a nástroje na sledování disidentů. Všechny tyto aktivity byly realizovány pomocí modelů Claude Haiku, Sonnet a Opus.

Anthropic upozorňuje, že stejné znalosti, které mohou podpořit vývoj biologických zbraní, mohou být využity i k vývoji vakcín nebo léků. Rozlišit legitimní výzkum od zneužití je proto obtížné, což komplikuje nastavení účinných bezpečnostních opatření.

Mezi interními reakcemi se vyskytla odchod výzkumníka Jacoba Coxona z firmy kvůli obavám z rychlého vývoje systémů schopných samostatného zdokonalování. Na politické úrovni reagoval senátor Bernie Sanders, který požadoval pozastavení vývoje pokročilé AI, zatímco prezident Donald Trump takové hlasy odmítl.

Co to znamená

Firmy, které implementují AI, musí pečlivě sledovat přístup k modelům, zajišťovat robustní bezpečnostní filtry a pravidelně auditovat využití AI v oblasti výzkumu a vývoje zbraní. Důraz na transparentnost a spolupráci s regulačními orgány je klíčový pro minimalizaci rizik spojených s pokročilými modely AI.

Zdroje

1. Ars Technicaarstechnica.com
2. Hospodářské novinytech.hn.cz
3. Forbes.czforbes.cz