Hraniční riziko AI: které podklady připravit pro právní posouzení

Proč hraniční případy selhávají na chybějících důkazech

Hraničním rizikem se zde rozumí situace, kdy z popisu nástroje není zřejmé, zda jeho výstup reálně vstupuje do rozhodnutí s právním nebo srovnatelně závažným dopadem na člověka. Typicky jde o asistenty pro třídění, doporučování, bodování nebo shrnutí, které formálně „jen pomáhají“, ale v praxi určují další postup. Právní posouzení pak nemůže vycházet z marketingového popisu modelu, protože rozhodující je konkrétní pracovní postup, odpovědnost a možnost výstup ověřit nebo odmítnout.

Rizikem je dodat pouze technickou dokumentaci bez popisu použití. Chybí evidence, kdo výstup čte, zda se podle něj automaticky postupuje, jaké poučení dostává dotčená osoba a kde je hranice mezi doporučením a rozhodnutím. Druhou chybou je směšování plánovaného a skutečného použití. Nástroj pořízený pro orientační podporu se postupně začne používat jako filtr, aniž by se to propsalo do návodů, školení a záznamů. Proto je vhodné začít obecným postupem, jak klasifikovat AI systém podle rizika, a hraniční případ doložit právě evidencí zamýšleného rozhodnutí.

Poskytovatel, nebo provozovatel: proč na roli záleží

Pro přípravu podkladů je nutné rozlišit dvě role. Poskytovatelem je podle AI Actu zpravidla osoba nebo organizace, která systém vyvíjí nebo si jej nechá vyvinout a uvádí jej na trh či do provozu pod svým jménem nebo ochrannou známkou; provozovatelem je osoba nebo organizace, která systém používá pod svou autoritou. Konkrétní povinnosti obou rolí závisejí na zařazení systému, jeho použití a použitelném znění předpisu. Pro pracovní přípravu podkladů proto popište, kdo určuje zamýšlený účel a dokumentaci a kdo systém skutečně nasazuje a vykonává nad ním dohled. Doporučenou interní praxí je uvést roli vaší organizace hned na první straně podkladů, protože od ní se odvíjí, které důkazy má smysl shánět.

Jste-li provozovatelem, těžiště je v popisu procesu, oprávnění schvalovatele, školení a záznamech o skutečném chování uživatelů. Jste-li poskytovatelem, těžiště je v určení účelu, zakázaných způsobech použití, omezeních přesnosti, testovacích protokolech a návodu pro bezpečné nasazení. Pokud roli kombinujete, například model přebíráte a dopracováváte, rozdělte podklady na převzatou část a vlastní úpravu. Tím se předejde situaci, kdy právník dostane sto stran technického popisu, ale neví, kdo rozhoduje o nasazení a kdo nese odpovědnost za konečné rozhodnutí vůči člověku.

Minimální balíček podkladů pro právní posouzení

Cílem není vytvořit novou obsáhlou směrnici, ale jednotný balíček, který lze projít za jedno jednání. Doporučená pracovní praxe, nikoli přímo doložená zákonná povinnost v tomto znění, je připravit následující vrstvy. Každou vrstvu označte datem, verzí systému a odpovědnou osobou, aby bylo patrné, co platí pro posuzované období.

První vrstvou je popis účelu a kontextu: jaký problém má systém řešit, v jaké fázi rozhodování se používá a koho se rozhodnutí týká. Druhou vrstvou je datová a procesní stopa: jaké vstupy systém dostává, odkud pocházejí, jak se kontroluje jejich kvalita a kam se ukládá výstup. Třetí vrstvou je lidský dohled: kdo může výstup změnit, za jakých podmínek, s jakou kvalifikací a v jakém čase. Čtvrtou vrstvou jsou testy a incidenty: co bylo ověřeno před nasazením, jaké chyby se vyskytly v provozu a jak byly řešeny. Užitečným vodítkem pro rozsah je přehled, jak má vypadat audit AI systému podle AI Actu, ze kterého lze převzít strukturu důkazů bez předjímání výsledku klasifikace.

Karta zamýšleného rozhodnutí a vlivu výstupu

Jádrem balíčku je jednostránková karta, která nahrazuje druhou obecnou rizikovou pyramidu. Neslouží jako závazná klasifikace, ale jako pracovní artefakt, podle kterého právník pozná, zda je výstup podkladem, doporučením, nebo faktickým rozhodnutím. Vyplňte ji konkrétními větami z provozu, nikoli obecnými frázemi o efektivitě.

Karta musí být v souladu s návody pro uživatele a skutečnými oprávněními v systému. Pokud karta tvrdí lidskou kontrolu, ale systém neumožňuje výstup snadno změnit, je to signál k přepracování procesu před právním jednáním. Teprve na základě této karty dává smysl řešit, zda případ spadá mezi vysoce rizikové AI systémy podle AI Actu, protože bez ní by šlo jen o abstraktní debatu o technologii.

Hypotetický příklad: předtřídění žádostí s přesným výsledkem

Následující příklad je zcela hypotetický a ilustrativní, neslouží jako důkaz o reálném nasazení. Středně velká organizace nasadí asistenta, který ze 120 přijatých žádostí vytvoří doporučené pořadí pro personalistu. Karta uvádí: zamýšleným rozhodnutím je pozvání k pohovoru, rolí výstupu je doporučení, dotčenou osobou je uchazeč s dopadem ztráty příležitosti, přezkum je povinný, odpovědnost má personalista s finálním podpisem.

Provozní evidence za jeden měsíc ukazuje přesný výsledek: ze 120 případů personalista změnil pořadí ve 22 případech, 18 doporučení potvrdil beze změny po otevření zdůvodnění a 80 případů s nízkým skóre vyřadil po individuální kontrole klíčových polí. Byly zaznamenány 2 reklamace uchazečů a 1 incident, kdy asistent zkrátil praxi z důvodu neúplného PDF. Jde o náborové použití; právní posouzení musí zohlednit i skutečnou roli lidského přezkumu a dopady na dotčené osoby. Právní posouzení má proto ověřit zařazení podle aktuálního znění předpisu i konkrétního použití a posoudit případnou použitelnost výjimky. Zjištěné nedostatky zároveň odůvodňují dopracování pokynu k dokumentaci důvodů vyřazení a měsíční kontroly. Tento formulovaný úkol je přesným výsledkem dobře připravených podkladů.

Omezení postupu a další krok

Tento postup je pouze doporučeným pracovním artefaktem a nezakládá záruku souladu ani konečnou klasifikaci. Evropská komise uvádí, že regulační rámec rozlišuje riziko podle konkrétního použití systému, a proto je pro odborné posouzení potřebná evidence vstupů, funkce a dopadů; podrobnosti shrnuje přehled regulačního rámce EU pro AI. Z toho plyne i věcné omezení: bez aktuálního znění předpisu, pokynů a posouzení konkrétního případu právníkem nelze určit konečné zařazení ani povinnosti.

Dalším krokem je předat balíček včetně vyplněné karty právnímu posouzení, připojit datum poslední změny procesu a domluvit kontrolní bod po třech měsících provozu. Pokud se změní vstupy, okruh dotčených osob, míra automatizace nebo odpovědná role, kartu aktualizujte a evidujte změnu jako novou verzi. Tím se hraniční riziko nestane jednorázovým razítkem, ale průběžně doloženým rozhodnutím o tom, jakou roli má výstup AI v rozhodnutí o člověku.