Jak nastavit vzorkovou kontrolu výstupů AI v běžném provozu?

Vzorek se vybírá podle dopadu chyby, ne náhodně napříč provozem

Jakmile AI přejde z pilotu do běžného provozu, jednorázová kontrola před spuštěním přestává stačit. Objem výstupů roste, mění se zadání a nikdo nemá kapacitu kontrolovat úplně vše. Otázka proto nezní, zda kontrolovat vzorek, ale jak ho vybírat, aby kontrola šla tam, kde chyba skutečně bolí, a nezůstávala rovnoměrně rozprostřená přes úkoly s velmi rozdílnou závažností.

Rozhodnutí, které tento text řeší, je nastavení průběžného postupu: co se vzorkuje, v jakém rozsahu, kdo kontrolu provádí, co se zaznamenává a co konkrétní nález spustí. Postup je určen pro provoz, kde AI už reálně běží, ne pro jednorázové ověření před nasazením.

Co vzorkovat: podle rizika úkolu, ne podle náhodného čísla

Náhodný vzorek napříč celým provozem má jednu velkou slabinu: se stejnou pravděpodobností vybere nízkorizikový úkol jako úkol s vážným dopadem, takže kapacita kontrolorů se rozplyne na úkoly, kde by chyba stejně nikoho nepoškodila. Řešením je rozdělit úkoly do rizikových úrovní podle toho, co by způsobila neodhalená chyba, a podle toho určit, kolik pozornosti si daná úroveň zaslouží.

Vysoké riziko představují úkoly s přímým dopadem na zákazníka, s právním nebo finančním důsledkem, nebo takové, kde chybný výstup postupuje dál bez další lidské kontroly. Střední riziko představují úkoly, jejichž výstup ovlivňuje další interní práci, ale prochází ještě dalším schválením nebo úpravou. Nízké riziko představují čistě podpůrné úkoly, kde je chyba snadno viditelná a levně opravitelná dřív, než způsobí škodu.

Toto rozdělení nemusí být složité ani formální. Stačí, aby ho vlastník procesu jednou promyslel a zapsal, protože bez něj kontrola typicky sklouzne k tomu, co je zrovna po ruce, ne k tomu, co je nejrizikovější.

Kdo kontroluje, co se zaznamenává, co nález spouští

Kontrolor by měl mít dostatečnou odbornost posoudit správnost daného typu výstupu a měl by být pokud možno odlišný od autora výstupu, aby kontrola nebyla jen zpětným pohledem stejné osoby na vlastní práci. U vysoce rizikových úkolů dává smysl přidat druhého nezávislého kontrolora nebo formální schvalovací krok navíc oproti běžné praxi.

Každý zkontrolovaný vzorek by měl zanechat záznam, ne jen mlčky projít nebo mlčky propadnout. Záznam umožňuje vidět vzorec v čase, ne jen jednotlivé případy izolovaně, a je podkladem pro rozhodnutí, zda podíl kontroly zvýšit nebo snížit.

Nález se vždy uzavírá jedním ze čtyř výsledků: bez zásahu, pokud výstup splňuje standard; doškolení, pokud jde o chybu způsobenou nedostatečným porozuměním nástroji nebo zadání; úprava postupu, pokud problém není v lidech, ale v zadání, šabloně nebo v tom, jak je úkol nastavený; nebo dočasné pozastavení použití AI pro daný typ úkolu, pokud je závažnost nebo frekvence chyb neúnosná. Volba mezi těmito čtyřmi možnostmi patří vlastníkovi procesu, ne samotnému kontrolorovi, protože nese širší provozní dopad.

Jak se podíl kontroly mění s tím, co kontrola nachází

Pevně stanovený podíl kontroly, který se nikdy nemění, ignoruje to nejdůležitější, co kontrola sama poskytuje: informaci o tom, jak se úkol nebo nástroj v čase chová. Pokud kontrola u daného typu úkolu opakovaně nenachází problém, je rozumné uvažovat o snížení podílu kontroly a uvolněnou kapacitu přesunout jinam. Pokud se naopak objeví opakující se vzorec stejné chyby, dává smysl podíl kontroly u tohoto typu úkolu dočasně zvýšit, dokud se příčina nevyřeší a zvýšená kontrola opakovaně nepotvrdí nápravu.

Tato logika není matematický vzorec ani statisticky odvozené pravidlo; je to provozní úsudek, že kontrolní kapacita má sledovat, kde se právě ukazuje problém, ne zůstávat zafixovaná na číslo stanovené jednou na začátku.

Artefakt: plán vzorkové kontroly a záznamový list nálezu

A. Plán vzorkové kontroly podle rizikové úrovně

Riziková úroveň	Příklad úkolu	Výchozí podíl kontroly	Kdo kontroluje	Co kontrola ověřuje	Spouštěč zvýšení podílu
Vysoké riziko	výstup jde přímo k zákazníkovi nebo má právní či finanční důsledek	firma určí vlastní vysoký podíl, případně blízký úplné kontrole	nezávislý kontrolor, u nejcitlivějších úkolů druhá osoba navíc	věcná správnost, dodržení pravidel, absence závažné chyby	jakýkoli nález závažné chyby
Střední riziko	výstup ovlivňuje další interní práci, prochází ještě schválením	firma určí vlastní střední podíl podle kapacity kontrolorů	osoba odlišná od autora výstupu, se znalostí procesu	věcná správnost a to, zda výstup splňuje standard pro další krok	opakovaný nález stejného typu chyby
Nízké riziko	podpůrný úkol, chyba je levně a rychle opravitelná	firma určí vlastní nízký podíl, dostatečný pro udržení přehledu	osoba pověřená běžnou kontrolou kvality	základní použitelnost výstupu	nárůst počtu nálezů proti obvyklému stavu

Konkrétní čísla podílu kontroly si musí každá firma stanovit sama podle objemu provozu a kapacity kontrolorů; tabulka záměrně neuvádí univerzální procento, protože žádné takové číslo nemá oporu v citovaných zdrojích.

B. Záznamový list jednotlivého nálezu

Pole	Zápis
ID vzorku	vlastní neměnný identifikátor
Datum kontroly
Typ úkolu a riziková úroveň
Kontrolor
Nález	ano / ne
Typ chyby, pokud nastala
Závažnost	nízká / střední / vysoká
Přijaté opatření	bez zásahu / doškolení / úprava postupu / pozastavení použití
Termín ověření nápravy

Záznamový list stačí vést jako jednoduchou sdílenou tabulku. Důležité je, aby ho vyplňoval kontrolor hned po kontrole, ne až zpětně z paměti, a aby byl přístupný vlastníkovi procesu pro pravidelné vyhodnocení vzorce v čase.

Kam kontrola zapadá v širším provozu

Vzorková kontrola výstupů navazuje na to, jak firma nejprve posoudila kvalitu práce s AI po zavedení, popsáno v textu jak měřit dopad AI školení; zatímco měření dopadu porovnává stav před a po, vzorková kontrola sleduje ustálený provoz průběžně. Typ chyby, který kontrola nejčastěji hledá u generativních nástrojů, souvisí s tím, proč si AI někdy vymýšlí fakticky nesprávné odpovědi, viz proč si AI vymýšlí halucinace. Formálnější a širší prověření celého nasazení AI systému, ne jen průběžný vzorek, řeší co je audit AI systému, a otázku, jak se má výstup z kontroly promítnout do zabezpečení provozu jako celku, shrnuje jak zabezpečit AI ve firmě.

Stav zdrojů a omezení

NIST rámec TEVV popisuje obecné principy testování, evaluace, validace a verifikace AI systémů, ale nejde o odvětvový standard ani o metodiku specifickou pro vzorkovou kontrolu v provozu malé či střední firmy. Funkce Measure v NIST AI RMF Core podporuje princip, že kvalita AI výstupů má být průběžně sledována a ne ověřena jen jednou při nasazení, bez odkazu na konkrétní podíl kontroly. NIST AI 600-1 popisuje rizikový profil generativní AI a je zde citován jen jako opora pro rozdělení úkolů podle závažnosti možného dopadu, ne jako zdroj konkrétních čísel. Podíly kontroly, spouštěče eskalace a struktura obou tabulek výše jsou doporučení CIAD založené na provozní logice, ne na statisticky odvozeném vzorci nebo na naměřené chybovosti; žádný z citovaných zdrojů takové číslo neuvádí a tento text si ho proto nevymýšlí.