Kdy je náš chatbot vysoce rizikovým systémem podle AI Actu?

Jak AI Act definuje vysoké riziko u konverzačních systémů

Nařízení neklasifikuje podle technologie, ale podle účelu nasazení. Chatbot se stane vysoce rizikovým v okamžiku, kdy je určen k použití v jednom ze scénářů vyjmenovaných v příloze III. Rozhodující není, zda generuje text, kód nebo hlas · důležité je, jakou roli hraje v rozhodovacím procesu ovlivňujícím práva, bezpečnost nebo přístup k základním službám. Pokud organizace nasadí chatbota pro automatizované třídění přihlášek do školy, hodnocení výkonu zaměstnanců nebo řízení dostupu k sociálním dávkám, systém padá pod režim vysokého rizika bez ohledu na technickou složitost.

Které kategorie přílohy III nejčastěji zasahují chatboty

V českých auditech CIAD se ukazuje, že tři oblasti pokrývají většinu rizikových nasazení. První je zaměstnanost a správa pracovníků (bod 4): chatboty pro screening životopisů, prowadování rozhovorů, plánování směn nebo hodnocení výkonnosti. Druhá je vzdělávání a profesní výcvik (bod 3): systémy určující přístup ke studiu, hodnocení studentů nebo doporučování studijních směrů. Třetí je přístup k základním veřejným službám a povinným sociálním pojištěním (bod 5): chatboty odpovídající na žádosti o dávky, pomáhající s daňovým přiznáním nebo navigující občany v úředním řízení. Další relevantní kategorie zahrnují biometrickou identifikaci (bod 1), pokud chatbot ověřuje identitu hlasem, správu kritické infrastruktury (bod 2) pro ovládání energetiky nebo vodovodů, a činnosti v oblasti migrace, azylu a správy hranic (bod 7).

Kdy chatbot není vysoce rizikový · výjimky článku 6 odst. 3

AI Act zavádí tzv. „narrow task“ výjimky. Chatbot nebude klasifikován jako vysoce rizikový, pokud splňuje všechny tyto podmínky souběžně:

1. Úlohou je jen úzký podúkol v rámci vyššího rizikového procesu (např. jen formátování výstupu, ne rozhodování).
2. Systém nezlepšuje výsledek rozhodování člověka, jen zrychluje administrativu.
3. Člověk zachovává plnou kontrolu a může výstup bez důsledků odmítnout.
4. Systém není určen k nahrazení lidského posudku v klíčových fázích.

Praktický příklad: interní HR chatbot, který jen navrhne šablonu odmítacího dopisu na základě zadání reclutera, ale rekrutér rozhodne o textu a odeslání, zpravidla výjimku splní. Naopak chatbot, který sám odmítne uchazeče bez lidského zásahu, výjimku nesplňuje.

Postup ověření pro českou organizaci · 4 kroky

1. Namapujte konkrétní use-case: ne „náš chatbot“, ale „chatbot pro předběžné hodnocení přihlášek na Střední průmyslovou školu v Brně“.
2. Projedete přílohu III bod po bodu: zda use-case spadá do definice (např. „přístup ke vzdělávání“ = bod 3).
3. Otestujte výjimky čl. 6 odst. 3: splňuje systém všech čtyři podmínky? Dokumentujte důvody.
4. Zapište výsledek do registru AI systémů: i když vyjdete na „ne“, evidujte odůvodnění pro Dozor.

Tento postup minimalizuje riziko pokuty za nesprávnou klasifikaci, která dosahuje až 35 milionů eur nebo 7 % celkového ročního obratu.

Co high-risk klasifikace v praxi znamená pro vývoj a provoz

Pokud chatbot spadne do vysokého rizika, organizace musí před uvedením na trh nebo do provozu splnit požadavky kapitoly 2 a 3: rizikové řízení, datová governace, technická dokumentace, protokolování událostí, transparentnost směrem k uživatelům, lidský dohled, přesnost, robustnost a kybernetická bezpečnost. Dále je nutné provést konformitní posouzení (interní nebo notifikovaným orgánem), zaregistrovat systém v evropské databázi a vydat EU prohlášení o shodě. V českém kontextu to často znamená zapojení právního oddělení, DPO a bezpečnostního týmu už v návrhové fázi, ne až po nasazení.

Co to znamená: Chatbot je vysoce rizikový vždy, když jeho výstup přímo ovlivňuje rozhodnutí o právech, zaměstnání, vzdělávání nebo sociálním zabezpečení občanů. Technická složitost modelu nehraje roli · rozhoduje účel nasazení podle přílohy III. Organizace by měla mít pro každý konverzační systém zdokumentovaný rozhodovací strom a být připravena prokázat, proč daný use-case ne spadá pod režim vysokého rizika.