Manipulativní AI: jak prověřit návrh pro zranitelné uživatele

Proč návrh posoudit ještě před pilotem

Návrh asistenta, doporučovacího systému nebo notifikačního toku se v pilotu chová jinak než na papíře. Tón, načasování a opakování výzev mohou u části uživatelů působit silněji, než tým zamýšlel, a úpravy po spuštění bývají nákladnější. Proto je jako doporučený pracovní postup vhodné zařadit krátký návrhový screening účelu, zranitelnosti a možné újmy ještě před pozváním prvních uživatelů.

Tento screening nenahrazuje právní posouzení a nerozhoduje o zákazu. Evropská komise řadí škodlivou manipulaci a zneužití zranitelností mezi zakázané praktiky, viz přehled na stránce Evropské komise k regulačnímu rámci pro AI. Pracovní závěr týmu proto berte jako podklad k úpravě návrhu nebo k vyžádání hlubšího přezkumu, nikoli jako záruku souladu.

Pokud řešíte širší rizika, pomůže zasadit zjištění do kontextu, který popisuje přehled nejzávažnějších porušení AI Act. Screening zranitelných uživatelů je pak jedním pracovním krokem uvnitř většího řízení rizik, nikoli samostatným verdiktem.

Kde končí personalizace a začíná riziková manipulace

Personalizace sama o sobě není podle podkladu pro tento článek manipulací. Doporučujeme proto posuzovat nikoli samotné přizpůsobení obsahu, ale kombinaci záměru návrhu, prostředků ovlivnění a možnosti uživatele se svobodně rozhodnout.

Pracovně si v týmu položte tři otázky. Sleduje návrh informované rozhodnutí uživatele, nebo jeho rozhodnutí obchází. Využívá návrh moment, kdy má uživatel sníženou pozornost, únavu, strach, finanční tlak nebo omezenou zkušenost s technologiemi. A vznikla by uživateli materiální, zdravotní, psychická nebo finanční újma, pokud by výzvě vyhověl unáhleně.

Zvláštní pozornost věnujte skrytým vzorcům. Příkladem k interní diskusi je opakované naléhání po odmítnutí, předvolená volba prezentovaná jako jediná bezpečná možnost, odpočty vytvářející umělý tlak nebo emoční formulace, které ztěžují klidné porovnání alternativ. Samotný výskyt takového vzorce ještě neznamená zákaz, ale je důvodem návrh přepracovat.

Review-list účelu, zranitelnosti a možné újmy

Následující tabulka je doporučená praxe CIAD pro návrhový review před pilotem. Vyplňte ji pro jeden konkrétní tok, nikoli pro celý produkt najednou. Každý řádek by měl mít vlastníka a datum, aby bylo jasné, kdo posouzení provedl a ke které verzi návrhu se vztahuje.

Tabulku archivujte k verzi návrhu. Pokud se změní textace, cílení nebo frekvence výzev, jde o doporučenou praxi CIAD založit novou kopii a původní ponechat pro srovnání.

Jak tabulku vyplnit krok za krokem

Vyhraďte si krátkou schůzku designéra, produktového vlastníka a člověka mimo tým, který bude hrát roli uživatele. Projděte reálný prototyp obrazovku po obrazovce, včetně notifikací a e-mailů, nikoli jen popis záměru. Právě formulace tlačítek a časování připomínek často rozhodují o tom, zda jde o pomoc, nebo o tlak.

Nejprve popište účel bez marketingových slov. Potom doplňte, kdo tok reálně uvidí, včetně lidí, kteří účet sdílejí nebo pomáhají s obsluhou. Teprve pak hodnoťte mechaniku ovlivnění a možnou újmu. Toto pořadí doporučuje praxe CIAD proto, aby tým nezačínal obhajobou řešení, ale dopadem na člověka.

Zapište také role pro případnou odpovědnost za chybu. Doporučujeme v zápisu rozlišit poskytovatele a provozovatele; pro interní triáž ověřte, zda jde o poskytovatele podle AI Actu, typicky o osobu, která systém vyvinula nebo si jej nechala vyvinout a uvádí jej na trh nebo do provozu pod svým jménem či ochrannou známkou. Detailnější rozbor odpovědnosti najdete v textu kdo odpovídá za chybu AI. U každého řádku pak uveďte, zda návrh upraví dodavatel, interní tým, nebo obě strany společně.

Ilustrativní příklad: hypotetický screening s přesným výsledkem

Následující příklad je zcela hypotetický a ilustrativní, neslouží jako důkaz o reálném produktu. Tým posuzuje návrh připomínek aplikace pro plánování výdajů. Tok po třetím otevření zobrazí zprávu: Máte jedinečnou šanci, zbývá málo času, aktivujte si prémiový úvěr jedním klikem. Po odmítnutí přijde do dvou hodin druhá naléhavá notifikace se stejnou nabídkou.

Vyplnění tabulky dopadne takto. Účel: zvýšit aktivace úvěru. Skupina: dospělí uživatelé včetně lidí ve finančním stresu. Zranitelnost v kontextu: tlak z nedostatku peněz a únava při večerním používání. Mechanika: umělá naléhavost a opakování po odmítnutí. Možná újma: obtížně vratný finanční závazek. Úniková cesta: odmítnutí je drobným odkazem, přijetí velkým tlačítkem.

Přesný pracovní výsledek tohoto ilustrativního screeningu zní: stav Stop, nepostupuje do pilotu, body 4, 5 a 6 hodnoceny jako nevyhovující ze 7 bloků. Doporučená praxe CIAD pro nápravu je odstranit odpočet, ponechat jednu neutrální informaci bez opakování po odmítnutí, doplnit klidné shrnutí nákladů a možnost konzultace. Teprve upravený návrh jde do nového kola review.

Omezení screeningu a další krok po review

Tento review-list je pouze doporučený pracovní artefakt. Nezaručuje soulad, nenahrazuje právní analýzu a nemůže postihnout všechny situace, ve kterých se uživatel rozhoduje. Chyba návrhu se může projevit až v reálném provozu, například jinou interpretací textu nebo únavou při opakovaném používání. Proto výsledek Pro pokračování neznamená, že riziko již neexistuje.

Možnost zkreslení snižte tím, že screening zopakujete s člověkem mimo vývojový tým a s ukázkou pro člověka, který danou službu běžně používá. Uživatelské testování formulujte jako možnost odhalit nejasnosti, nikoli jako záruku bezpečnosti. Zaznamenejte, co jste změnili a proč, aby pozdější tým rozuměl souvislostem.

Dalším krokem po rizikovém nálezu je úprava návrhu, nikoli okamžité právní hodnocení. Pokud tým váhá, zda jde o nepřijatelné ovlivnění, popište práva dotčených lidí podle článku práva lidí a firem vůči AI a předejte zápis včetně verze návrhu k hlubšímu přezkumu. Do pilotu pouštějte až verzi, která má jasný účel, viditelnou únikovou cestu a zdokumentovaného vlastníka.