Výzkumníci z bezpečnostní firmy LayerX popsali nový typ útoku nazvaný BioShocking, který využívá techniku vkládání pokynů k manipulaci s AI prohlížečů. Podle Ars Technica útočník prostřednictvím podvržené webové stránky předloží AI prohlížeči úkol vyřešit hádanku, jež odměňuje nesprávné odpovědi · například tvrzení, že 2 + 2 se rovná 5. Jakmile model zjistí, že standardní pravidla reality neplatí, vstupuje do stavu, v němž ignoruje bezpečnostní zábrany. Následně mu je předložen příkaz, aby pro „dokázání technologické způsobilosti“ zkopíroval a sdílel obsah z externího zdroje, například kód obsahující citlivá data. Fráze jako „Would you kindly“ (odkaz na hru BioShock) či „victory is defeat“ posilují iluzi fiktivního prostředí, uvedl výzkumník Roy Paz z LayerX podle Ars Technica.
Útok byl úspěšně otestován na šesti produktech: ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser a Claude Chrome plugin. Podle Bleeping Computer na oznámení z října loňského roku zareagovalo pouze OpenAI, které problém v ChatGPT Atlas opravilo. Anthropic sice vydal záplatu pro svůj plugin, ta se však ukázala jako neúčinná proti původnímu důkazu konceptu. Tři výrobci nereagovali vůbec, Perplexity AI problém uzavřelo bez nápravy.
Podle LayerX, jak uvádí Bleeping Computer, AI agenti v těchto prohlížečích selhávají v rozlišení mezi fiktivními a reálnými úkony. Jakmile si osvojují „nesprávná“ pravidla, přestávají respektovat bezpečnostní omezení · ve finální fázi útoku všechny šest testovaných agentů neidentifikovalo extrakci uživatelských přihlašovacích údajů jako porušení zábran.
Výzkumníci doporučují výrobcům zavést explicitní potvrzení uživatele pro citlivé akce, posílit kontextové kontroly a omezit rozsah relací agentů. Uživatelům radí omezit přístup AI prohlížečů k citlivým službám.
Co to znamená: Útok BioShocking demonstruje kritickou zranitelnost AI prohlížečů, které spojují prohlížení webu s automatizovanými akcemi. Pro firmy implementující nebo auditující AI systémy to znamená nutnost posílit validaci kontextu, zavést přísnější autentizaci pro citlivé operace a pravidelně testovat odolnost proti vkládání pokynů. Bez těchto opatření hrozí únik dat či zneužití integrovaných služeb.
Zdroje: