Podezření na únik přes AI: co odpojit a jak uchovat důkazy

Asistent ukáže dokument, který uživatel neměl vidět, nebo agent tvrdí, že odeslal přílohu mimo firmu. Taková událost vyžaduje ověření, ne další experimenty s reálnými daty. Prvním cílem je omezit pokračování a zachovat podklady. Současně oddělte prokázané skutečnosti od domněnek: model může popsat akci, kterou nikdy neprovedl.

NIST v doporučeních pro reakci na incidenty propojuje přípravu, detekci, reakci a obnovu s řízením rizik. Microsoft popisuje dostupné auditní události pro Copilot a AI aplikace; jejich rozsah závisí na konkrétní službě a konfiguraci. Tento pracovní postup se týká prvních technických kroků. Povinnosti oznámení vždy posuzuje odpovědný člověk podle skutečných okolností.

Vzor prvního záznamu události

Záznam nemá být hromadnou kopií všech konverzací do společného týmového chatu. Použijte zabezpečené úložiště s omezeným přístupem. Do běžného oznámení stačí odkaz na případ a stručný popis. OWASP u logování upozorňuje také na ochranu citlivého obsahu a přístupových tajemství; protokol incidentu nesmí vytvořit další nekontrolovaný únik.

Postup omezení dotčené automatizace

Nejprve zastavte konkrétní vykonávací cestu, pokud ji lze bezpečně identifikovat. Může jít o pracovníka fronty, konektor nebo oprávnění k odesílání. U každého kroku zaznamenejte, co jste změnili. Neodstraňujte celou službu ani historii jen proto, aby podezřelá odpověď zmizela z obrazovky.

Pokud se podezření týká přístupového klíče, správce posoudí jeho zneplatnění a náhradu. Samotné odpojení ikony v rozhraní nemusí ukončit všechny platné přístupy. Ověřte stav u poskytovatele a v cílové aplikaci. Produkční změny koordinujte tak, aby reakce nepoškodila další nezávislé procesy používající stejnou identitu.

Zajistěte dostupné konverzace, identifikátory požadavků, seznam nástrojů, konfiguraci oprávnění a záznamy cílového systému. Přesná dostupnost podkladů se mezi službami liší. Neslibujte úplnou stopu, dokud ji neověříte. Pokud některé záznamy chybí, zapište to jako omezení vyšetření a nevyplňujte mezeru odhadem.

Příklad: agent oznámil odeslání smlouvy

V modelovém scénáři odpověď obsahuje větu, že agent poslal smlouvu dodavateli. Tým nejprve zastaví příslušnou automatizaci a zkontroluje odeslanou poštu, frontu a audit konektoru. Jestliže existuje pouze textová odpověď bez potvrzené akce, jde zatím o neověřené tvrzení. Přesto je vhodné zjistit, proč model takový výsledek vytvořil.

Pokud cílový systém potvrdí odeslání, tým ověří přesného příjemce, přílohu a čas. Nezaměňuje návrh dokumentu s konečnou verzí. Odpovědná osoba následně posuzuje obsah a skutečný dopad. Závěr „unikly všechny smlouvy“ by bez dalšího dokladu byl stejně nepodložený jako závěr „nic se nestalo“.

Obnova vyžaduje ověřenou příčinu

Před opětovným spuštěním reprodukujte problém na syntetických datech. Opravte hranici oprávnění nebo ovládání akcí a ověřte zamítnuté volání. Změna jedné věty v promptu není sama o sobě důkaz odstranění příčiny. Návrat do provozu má konkrétního vlastníka a zapsané podmínky.

Další kroky rozlišují postup po úniku dat, ohlášení ÚOOÚ a NÚKIB a uchovávání logů. Technický záznam poskytuje podklady pro tato rozhodnutí; jejich právní závěr nenahrazuje.