Sociální skóre s AI: jak rozpoznat varovný návrh systému

Proč běžné bodování ještě nemusí být sociální skóre

Mnoho týmů pracuje s bodováním, které pomáhá řadit žádosti, odhadovat riziko nebo prioritizovat kontrolu. Takové bodování může působit neutrálně, protože vzniklo pro jeden úkol a má jasného vlastníka. Problém nastává ve chvíli, kdy se číslo začne chovat jako obecná známka člověka a cestuje mezi rozhodnutími.

Evropská komise uvádí sociální scoring mezi zakázanými praktikami, proto je vhodné varovné návrhy zachytit včas. Viz aktuální přehled Evropské komise. Následující karta zachycuje podklady pro posouzení; neurčuje právní hranici zákazu.

Dva varovné přesuny, které karta sleduje

Doporučujeme sledovat dva odlišné přesuny. První je přesun kontextu, kdy skóre vzniklé z chování v jedné oblasti začne ovlivňovat rozhodnutí v oblasti jiné a nesouvisející. Druhý je vznik negativního dopadu, kdy člověk ztratí příležitost, přístup ke službě nebo výhodu způsobem, který působí nepřiměřeně vzhledem k původním datům.

Pokud systém smí rozhodovat o lidech, je vhodné popsat jeho roli stejně pečlivě jako jeho vstupy. Pomůže vám k tomu přehled o tom, zda AI smí rozhodovat o lidech, protože vyjasňuje, kde končí podpůrný výpočet a kde začíná rozhodnutí s dopadem.

Stejně důležité je sledovat, zda se do skóre nepromítá zkreslení dat. Krátké připomenutí, co jsou předsudky a zkreslení v AI, pomůže týmu ptát se, čí chování bylo v trénovacích příkladech vidět a čí chování mohlo chybět.

Posuzovací karta přesunu skóre a negativního dopadu

Tato karta je doporučený pracovní artefakt CIAD. Neslouží jako právní test ani jako záruka souladu. Slouží k tomu, aby tým jednotně zapsal, odkud skóre pochází, kam se přenáší a co se stane člověku, kterého se týká.

Vyplňte ji pro jeden systém a jedno konkrétní použití. Pokud se stejné skóre používá na třech místech, vyplňte kartu třikrát.

Výsledek karty volte střízlivě. Zelená znamená, že přesun není patrný a dopad má přezkum. Žlutá znamená nejasný vztah kontextů nebo citelný dopad. Červená znamená, že je patrný přesun do nesouvisejícího kontextu anebo citelné znevýhodnění, a spis patří odborníkovi.

Jak s kartou pracovat jako s doporučeným postupem CIAD

Následující postup je doporučená praxe CIAD, nikoli zákonná povinnost. Jeho cílem je vytvořit přezkoumatelný záznam a zastavit rozšiřování rizikového použití dříve, než se stane zvykem.

Nejprve vymezte jedno použití a zamkněte jeho popis. Zapište vstupy, práh skóre, rozhodovací pravomoc a možnost lidského přezkumu. Chyby v popisu se mohou objevit, proto nechte popis potvrdit vlastníkem procesu, nikoli pouze tvůrcem modelu.

Potom projděte vztah kontextu A a B větu po větě. Ptejte se, zda by člověk rozumně očekával, že data z prvního prostředí ovlivní druhé rozhodnutí. Pokud je odpověď nejasná, zapište žlutou a popište, co by vztah objasnilo.

Následně popište dopad jazykem člověka, nikoli systému. Uveďte, o co jde, na jak dlouho a zda existuje cesta zpět. Vyhněte se obecnému tvrzení, že dopad je malý, pokud nemáte konkrétní přezkum a lhůtu nápravy.

Hypotetický příklad skóre z docházky a ztráty benefitu

Následující příklad je zcela hypotetický a ilustrativní, neslouží jako důkaz o žádném skutečném produktu ani jako živé testování.

Představte si interní nástroj, který z pozdních příchodů vypočítá docházkové skóre od nuly do sta. Původní účel je přehled pro vedoucí. Po čase začne stejné číslo automaticky rozhodovat o tom, kdo získá flexibilní pracovní dobu na další čtvrtletí. Hranice je nastavena na sedmdesát bodů, lidský přezkum není popsán.

Karta ukáže přesný výsledek: vstupní kontext A je docházka, výstupní kontext B je organizace práce a péče o rodinu, vztah je pouze částečný. Negativní dopad je ztráta flexibility na tři měsíce pro dvanáct lidí ze sta, včetně dvou lidí s opakovaným zpožděním do deseti minut kvůli dojíždění. Automatizace je vysoká, protože vedoucí vidí jen výsledné číslo.

Pracovní závěr karty proto zní červená k přezkumu. Doporučujeme v takovém případě pozastavit automatické přebírání skóre, vrátit rozhodnutí vedoucím s individuálními důvody a předat spis k odbornému posouzení, zda nejde o varovný návrh sociálního skóre.

Pro pochopení závažnosti je užitečný kontext, jaká porušení patří mezi nejzávažnější podle AI Act. Nejde o to hádat sankci, ale o to správně určit prioritu přezkumu a úplnost spisu.

Omezení karty a další krok k odborníkovi

Karta nenahrazuje právní posouzení a neurčuje univerzální prahy ani výjimky. Zachycuje možnost rizika, nikoli jistý zákaz. Stejný číselný práh může být v jednom procesu přijatelný a v jiném varovný, podle kontextu, dopadu a možnosti přezkumu.

Věcným omezením do tohoto tématu je, že tým sám nerozhodne, zda jde o zakázaný sociální scoring. Tým pouze doloží přesun skóre, popíše dopad a předá otázky. Odborník pak posoudí účel systému, vztah kontextů a přiměřenost dopadu.

Dalším krokem je předat vyplněnou kartu, popis rozhodnutí, vzorek oznámení lidem a záznam o přezkumu. Přiložte také informaci, kdo systém vyvinul či objednal a pod čí značkou vystupuje, a kdo jej provozuje. Tím odborník získá úplný podklad bez domněnek a tým má jasný bod, ke kterému se lze vrátit.