Offline AI a doplňky: jak ověřit, co odesílá data

Kde se vstup zpracovává, ukládá a předává dál

Tvrzení, že data zůstávají u vás, samo o sobě neukazuje, co se s konkrétním vstupem děje. Pro jednu pracovní úlohu proto projděte jednotlivá místa zpracování a do záznamu zapisujte, co jste skutečně ověřili v nastavení nebo při testu. Neověřené položky označte jako neznámé, nikoli jako vypnuté. Zaměřte se zejména na doplňky, synchronizaci a protokoly kolem místního modelu. Samotný výběr cloudového nebo místního modelu je širší otázka; tato karta ověřuje konkrétní datové cesty zapnutých funkcí. Tato pracovní mapa CIAD je návrh pro organizaci postupu, nikoli závazný formulář. O použití citlivého obsahu rozhoduje odpovědná osoba.

Před zápisem do mapy určete kategorii vstupu podle matice dat pro vkládání do AI. Do pracovní mapy zapisujte kategorii, nikoli celý obsah citlivého dokumentu. Pokud si nejste jistí zařazením, ponechte položku nevyřešenou a konzultujte ji s odpovědnou osobou.

Postup zmapování cesty pro jednu pracovní úlohu

Následující postup je určený jako pracovní pomůcka pro administrativní a analytické úlohy. Nejde o právní posouzení ani o návod k automatickému rozhodování o lidech.

1. Pojmenujte úlohu. Jednou větou popište, co do nástroje vložíte a jaký výstup očekáváte. Například: „Převést zápis z interní porady na seznam úkolů.“
2. Sepište datové položky. Uveďte typy údajů, například jména v zápisu, čísla zakázek, finanční částky, technické parametry a interní zkratky. Celý citlivý obsah do mapy nekopírujte.
3. Projděte dostupné nastavení. Zapište stav historie, použití vstupů pro další učení, synchronizace a doplňků. Uveďte, kde jste údaj našli a zda se vám jej podařilo ověřit. Nastavení můžete zaznamenat opisem nebo snímkem obrazovky, pokud je to ve vašem prostředí vhodné.
4. Otestujte chování bez citlivých dat. Použijte neškodný testovací vstup. Pokud je to možné, vypněte síť nebo jednotlivé doplňky a sledujte, které funkce se změní. Výsledek testu popište jako pozorování; samotný test nemusí odhalit veškeré předávání dat.
5. Zapište další příjemce a služby. Prověřte, zda se na úloze podílejí například správce aplikace, provozovatel úložiště, služba přepisu nebo nástroj pro kontrolu pravopisu. U každého uveďte, jaký typ dat může dostávat, pokud se to podařilo ověřit.
6. Připravte volbu pro ostrou úlohu. Zvažte místní zpracování, firemní prostředí s odpovídajícím nastavením nebo použití veřejné služby pouze pro obsah, který organizace schválila. Volbu a její důvody zaznamenejte a předejte odpovědné osobě. Pokud zůstává důležitá část cesty neznámá, nevkládejte citlivý vstup, dokud nebude nejasnost posouzena.

Další pracovní postup pro zabezpečení firemního prostředí najdete v návodu k zabezpečení AI ve firmě. Tato mapa k němu dodává podklad o tom, která místa a předávání dat je třeba prověřit.

Modelový syntetický příklad s rozborem

Následující příklad je zcela modelový a syntetický. Osoby, dokumenty i uvedené okolnosti jsou smyšlené a neslouží jako skutečné měření ani zkušenost s konkrétní službou.

Situace: Referentka Petra má zápis z porady o reklamaci čerpadla typu K25. Modelový zápis obsahuje jména dvou techniků, popis závady a interní cenový odhad opravy. Petra chce připravit přehled úkolů s termíny.

Rizikový postup: Petra vloží celý zápis do veřejného chatbota, aniž by nejprve ověřila nastavení historie a předávání dat. Zároveň použije doplněk pro webové vyhledávání. V tomto syntetickém scénáři se úryvek s názvem výrobku předá také doplňku. Tento děj je součástí příkladu, nikoli tvrzení o konkrétní službě.

Opatrnější postup: Petra nejprve zjistí, které údaje může pro úlohu použít, a jména nahradí iniciálami. Cenový odhad do vstupu nezařadí, pokud pro vytvoření seznamu úkolů není potřebný. Před použitím nástroje ověří dostupná nastavení a rozsah předávání dat. Pokud informace o cestě citlivého zápisu zůstávají nejasné, předá otázku odpovědné osobě místo toho, aby do nástroje vložila celý dokument. Po schválení pracuje jen s potřebným výtahem a zapíná pouze doplňky, jejichž použití bylo pro úlohu posouzeno.

Rozbor: Při vyplňování tabulky se odděleně zaznamená zpracování dotazu, uchování historie a případné předání doplňku. Tím se nezamění různé části cesty dat za jedinou odpověď na otázku, zda je nástroj „offline“. Do textu převzatého od třetí strany mohou být vloženy pokyny, které je třeba posoudit jako možné riziko manipulace vstupem; k tématu uvádí podklad OWASP materiál o prompt injection: OWASP: prompt injection. Výstup, který má sloužit jako přehled úkolů, následně porovnejte s původním zápisem podle postupu v návodu k ověřování odpovědi AI. V tomto smyšleném příkladu nelze zvoleným postupem vyvozovat skutečnou přesnost nástroje ani míru snížení rizika.

Kdy mapu nepřevzít a úlohu pozastavit

Pokud se objeví některá z následujících nejasností, nepovažujte mapu za ověřenou a citlivý vstup do nástroje nevkládejte, dokud situaci neposoudí odpovědná osoba:

• Nelze zjistit, zda je historie vypnutá nebo jak jsou vstupy používány.
• Aplikace vykazuje síťovou aktivitu v režimu označeném jako místní a její účel se nepodařilo ověřit.
• Pro úlohu je potřebný doplněk, jehož použití nelze posoudit nebo omezit.
• Doplňková služba může získat celý dokument, ačkoli úloze by mohl stačit kratší výtah.
• Z dostupných informací není jasné, zda protokoly obsahují plné texty vstupů, kdo k nim má přístup nebo jak dlouho se uchovávají.
• Vstup obsahuje pokyny od třetí strany, například v přeposlaném e-mailu, a nelze je před použitím bezpečně oddělit od obsahu.
• Výsledek by mohl být použit pro automatické rozhodnutí o osobě, hodnocení výkonu nebo nároku bez lidského přezkumu.

Dobrovolný rámec řízení rizik AI od NIST není osvědčením přesnosti konkrétního výstupu: NIST: dobrovolný rámec rizik AI. Proto do záznamu u citlivé úlohy uveďte jméno odpovědné osoby, datum kontroly nastavení, zjištěné nejasnosti a důvod zvoleného postupu. Kontrolu nastavení zopakujte, pokud se změní používaná aplikace nebo její konfigurace; rozsah opakování určete podle toho, co se změnilo a jaké vstupy mají být zpracovány.