Smí AI rozhodovat o lidech, třeba při náboru nebo úvěru?

Kdy zákon zakazuje plně automatické rozhodování

Evropská legislativa, konkrétně obecné nařízení o ochraně osobních údajů (GDPR), výslovně zakazuje rozhodování založené výhradně na automatizovaném zpracování, včetně profilování, pokud má pro jednotlivce právní účinky nebo ho podobně významně ovlivňuje. To znamená, že banka nemůže automaticky zamítnout žádost o úvěr pouze na základě algoritmu bez toho, aniž by měl žadatel možnost požádat o přezkoumání rozhodnutí člověkem. Stejně tak firma nemůže uchazeči o zaměstnání rovnou zaslat odmítnutí vygenerované strojem, aniž by existovala funkční cesta, jak se proti tomuto kroku odvolat a nechat si případ vysvětlit.

Výjimky a pojistky pro dotčené osoby

Právo nebýt předmětem takového rozhodování není absolutní, ale výjimky jsou úzce vymezené. Automatizované rozhodování je přípustné pouze tehdy, pokud je nezbytné pro uzavření smlouvy, pokud to povoluje přímo zákon, nebo pokud k tomu osoba dala svůj výslovný souhlas. I v těchto případech však musí správce dat zavést vhodná opatření na ochranu práv a svobod člověka. Mezi tato opatření patří minimálně právo na lidský zásah, možnost vyjádřit svůj pohled na věc a právo napadnout rozhodnutí. V praxi to často znamená, že AI slouží jako podpůrný nástroj pro doporučení, ale finální slovo musí mít odpovědná osoba.

Povinnosti u vysoce rizikových systémů podle AI Act

Nový evropský zákon o umělé inteligenci (AI Act) klasifikuje systémy využívané pro nábor, výběr pracovníků, povyšování nebo ukončování pracovního poměru jako vysoce rizikové. Do této kategorie spadají také systémy používané finančními institucemi pro hodnocení úvěruschopnosti fyzných osob. Tito poskytovatelé a provozovatelé musí před uvedením systému do provozu splnit řadu náročných požadků. Musí prokázat, že používají kvalitní datové sady, které neobsahují historické předsudky či diskriminační vzorce, například vůči určitému pohlaví, věku nebo etnickému původu.

Provozovatelé musí zajistit technickou dokumentaci, vést záznamy o činnosti systému a poskytovat uživatelům jasné instrukce k používání. Klíčovým požadavkem je lidský dohled. Člověk zapojený do procesu musí mít dostatečnou kompetenci, školení a autoritu k tomu, aby doporučení od AI ignoroval nebo korigoval. Nemůže se stát pouhým „razítkem“, které mechanicky potvrzuje výstupy algoritmu. V auditech CIAD se často ukazuje, že firmy mají technicky funkční modely, ale chybí jim definovaný postup pro situace, kdy se lidský operátor s výsledkem AI neshodne. Bez tohoto postupu je nasazení systému v rozporu s předpisy.

Co to znamená: Pokud jste uchazečem o práci nebo klientem banky, máte právo vědět, že o vás nerozhoduje jen robot. Můžete požádat o vysvětlení logiky rozhodnutí a žádost o přezkoumání člověkem. Pokud jste firmou, která chce AI nasadit, musíte nejprve provést posouzení rizik, zajistit kvalitu vstupních dat a formalizovat roli člověka, který bude mít poslední slovo. Nasazení černé skříně, jejíž rozhodnutí nelze vysvětlit ani zpochybnit, je v těchto oblastech nepřípustné.