Lidský dohled nad AI: jak zkouškou ověřit možnost zastavení

Co zkouška skutečně ověřuje a co ne

Suchá zkouška podle doporučené praxe CIAD odpovídá na praktickou otázku: dokáže určený člověk v běžné směně odmítnout výstup, zastavit akci a převzít úkol bez zmatku v kompetencích. Nejde o právní audit ani o potvrzení, že organizace plní všechny související povinnosti.

Podle aktuálního FAQ Evropské komise k AI gramotnosti je třeba rozlišovat obecnou podporu rozvoje gramotnosti a konkrétní kompetenci osob vykonávajících dohled u vysoce rizikových systémů (https://digital-strategy.ec.europa.eu/en/faqs/ai-literacy-questions-answers). Doporučená zkouška v tomto článku je pracovní nácvik, nikoli certifikát shody.

Toto rozlišení je důležité pro interpretaci výsledku. Pokud zkouška dopadne dobře, znamená to pouze, že daná směna v daný den zvládla tři úkony. Pokud dopadne špatně, je to signál k úpravě postupů, školení nebo nastavení práv, nikoli automatický právní závěr. proto výsledek vždy zakládejte jako interní záznam o připravenosti, nikoli jako důkaz o souladu.

Kdy zkoušku zařadit a kdo ji má provádět

Zařazujte zkoušku tam, kde člověk reálně vstupuje do rozhodování o lidech, například při kontrole návrhů na zamítnutí, výběr nebo eskalaci. Právě v těchto situacích pomáhá předem vyjasnit, kdo smí výstup zastavit, což souvisí i s otázkou, zda AI smí rozhodovat o lidech a kde musí zůstat poslední slovo člověku.

Zkoušku provádí pracovník, který bude dohled běžně vykonávat, nikoli vývojář, administrátor ani externí konzultant. Doporučujeme testovat v běžném rozhraní a s běžnými právy. Zvláštní administrátorské oprávnění výsledek zkresluje, protože v ostrém provozu je pracovník mít nebude.

Pro vymezení rozsahu je užitečné vědět, zda používaný nástroj vůbec patří mezi vysoce rizikové AI systémy podle AI Actu. Toto zařazení samo o sobě zkoušku nenařizuje, ale pomáhá určit, jak pečlivě máte role, pravomoci a záznamy nastavit. V interní dokumentaci proto rozlišujte poskytovatele a provozovatele: poskytovatelem může být ten, kdo systém vyvinul nebo si jej nechal vyvinout a uvedl jej na trh či do provozu pod vlastním jménem nebo ochrannou známkou.

Příprava: tři situace, které budete zkoušet

Zkouška má vždy tři samostatné části. je nezkracujte na pouhé kliknutí na tlačítko stop, protože v praxi selhává spíše rozhodování a předání práce než samotná technika.

První situace je odmítnutí výstupu. Pracovník dostane připravený podezřelý návrh, například doporučení zamítnout žádost na základě neúplných údajů, a má jej odmítnout, označit důvod a zabránit jeho odeslání. Druhá situace je zastavení akce. Akce je již spuštěná nebo připravená k odeslání, například dávka zpráv nebo návrh rozhodnutí čekající na potvrzení, a úkolem je ji včas pozastavit.

Třetí situace je převzetí lidským pracovníkem. Po zastavení musí být jasné, kdo úkol dokončí ručně, kde najde podklady a jak informuje dotčené osoby. Právě zde se ukazuje, zda máte aktuální kontakty, zástupnost a přístup k datům mimo AI nástroj. Přípravu proto dělejte s vedoucím směny, nikoli pouze s IT.

Provedení suché zkoušky krok za krokem

Proveďte zkoušku v klidné části směny, mimo špičku, v bezpečně odděleném testovacím prostředí nebo v rozhraní nastaveném tak, aby žádná testovací akce neměla skutečné následky. Pozorovatele určete předem a jeho úkolem je měřit čas a zapisovat záseky, nikoli radit. Pracovníkovi dejte jen takový pokyn, jaký by dostal ve skutečnosti, například že výstup vypadá rizikově a má postupovat podle návodu.

Sledujte tři časy: čas do odmítnutí výstupu, čas do zastavení akce a čas do plného převzetí úkolu člověkem. Zapisujte také, zda pracovník musel hledat návod, volat kolegovi nebo žádat o vyšší práva. Možným bodem selhání je nejasné tlačítko, chybějící právo k zastavení dávky nebo nejasnost, zda pozastavená akce opravdu nepokračuje na pozadí.

Hypotetický ilustrativní příklad: pracovnice na testovací dávce deseti návrhů odmítne dva rizikové výstupy za 1 minutu 20 sekund, dávkové odeslání zastaví za 42 sekund od pokynu a ruční převzetí tří případů včetně zápisu důvodu dokončí za 9 minut 15 sekund. Výsledek zkoušky je vyhovující pro odmítnutí a zastavení, podmíněně vyhovující pro převzetí, protože zástupkyně neměla přístup k jedné příloze. Nápravným opatřením je doplnit přístup a zkoušku převzetí opakovat.

Pro hodnocení kvality jednotlivých rozhodnutí je vhodné zkoušku propojit s běžnou kontrolou vzorku výstupů AI, aby pracovník nezkoušel jen technické zastavení, ale i věcné posouzení správnosti a úplnosti podkladů.

Rozhodovací karta a vyplnitelná tabulka záznamu

Tuto kartu mějte vytištěnou u pracoviště dohledu. podle ní postupujte při každé zkoušce i při ostré pochybnosti.

Rozhodovací karta má čtyři otázky. Za prvé, je výstup úplný a srozumitelný, nebo chybí podklad. Za druhé, mohlo by pokračování poškodit člověka nebo porušit interní pravidlo. Za třetí, mám pravomoc akci zastavit, nebo musím eskalovat. Za čtvrté, kdo úkol převezme, dokud nebude jasno. Pokud je odpověď na druhou otázku ano, akci zastavte a teprve pak řešte příčinu.

Záznam vyplňte ihned po zkoušce:

Tabulku ukládejte jako interní doklad o nácviku. Do poznámky vždy uveďte, že šlo o suchou zkoušku s testovacími daty, aby záznam nebyl zaměněn za ostrý zásah.

Omezení zkoušky a další krok

Zkouška ověřuje připravenost lidí a srozumitelnost postupů, nikoli bezpečnost samotného modelu ani úplnost dokumentace dodavatele. Doloženým faktem z podkladu zůstává pouze výše uvedené rozlišení obecné gramotnosti a konkrétní kompetence dohledu; vše ostatní v tomto článku je doporučená praxe CIAD, nikoli zákonná povinnost. Z toho vyplývá věcné omezení pro toto téma: ani opakovaná vyhovující zkouška sama o sobě nezakládá soulad ani nenahrazuje vyjasnění rolí poskytovatele a provozovatele.

Možným omezením je také to, že test probíhá v klidu a s vědomím, že jde o nácvik. Ve skutečné špičce se může objevit tlak na rychlost, únava nebo neochota zastavit dávku před termínem. Proto jako doporučenou praxi CIAD opakujte zkoušku po změně rozhraní, práv, směny nebo dodavatele, a jednou za čas i neohlášeně v rámci testovacích dat.

Dalším krokem po první zkoušce je odstranit jednu konkrétní překážku, například doplnit právo k pozastavení dávky, upravit návod nebo zajistit zástupnost. Teprve po nápravě proveďte krátké opakování pouze té části, která nevyšla, a oba záznamy spojte. Tím vznikne jednoduchá a přezkoumatelná stopa, že dohled není jen na papíře.