AI jako bezpečnostní součást výrobku: co zjistit od výrobce

Proč běžný dotaz na model nestačí

Když je AI součástí stroje, zdravotnického prostředku, výtahu nebo jiného regulovaného výrobku, neřešíte jen přesnost modelu. Řešíte, co se stane s celým výrobkem, když AI selže, zamrzne, vrátí nejistý výstup nebo dostane nečekaný vstup. Obecný popis modelu vám proto pro interní kontrolu nestačí.

Potřebujete vazbu na fyzický svět: který pohyb, tlak, dávku nebo rozhodnutí AI přímo ovlivňuje nebo jistí. Tato vazba je důležitým podkladem pro posouzení, zda může jít o bezpečnostní součást; sama o sobě však zařazení konkrétního výrobku nerozhoduje. Pokud ji výrobce neumí popsat, nemůžete spolehlivě posoudit riziko ani připravit podklady k auditu AI.

Praktický důsledek je jednoduchý: ptejte se na funkci ve výrobku, ne na model v laboratoři. Požadujte popis vstupů ze senzorů, logiku zásahu, výstup do akčního členu a chování při výpadku. Teprve tato čtveřice ukazuje, zda je AI skutečně bezpečnostně relevantní.

Podle přehledu Evropské komise k regulačnímu rámci pro AI se při vymezených podmínkách posuzují AI bezpečnostní součásti regulovaných výrobků nebo AI jako regulovaný výrobek; samotné zabudování AI automaticky neurčuje vysoké riziko (přehled regulačního rámce). Toto rozdělení je zde jediným doloženým faktem ze zdroje a slouží pouze k orientaci, nikoli k závěru o konkrétním výrobku.

Co znamená bezpečnostní funkce v praxi

Bezpečnostní funkce je úkol, jehož selhání může vést k ohrožení zdraví, majetku nebo okolí. U AI se typicky jedná o detekci překážky, hlídání přetlaku, zastavení pohybu, kontrolu dávky nebo ověření identity obsluhy před spuštěním. Rozhodující je, zda výrobek bez této funkce zůstane bezpečný jiným způsobem.

Zeptejte se výrobce, zda existuje nezávislá mechanická, elektrická nebo softwarová záloha. Pokud AI pouze doporučuje a konečné zastavení provede nezávislý bezpečnostní obvod, je role AI jiná, než když AI přímo vydává povel k zastavení. Požadujte tuto architekturu nakreslenou, nikoli pouze popsanou slovně.

Druhá rovina je režim výrobku. Stejná AI se může chovat jinak při spuštění, běžném provozu, údržbě, čištění a poruše. Zjistěte, ve kterých režimech je bezpečnostní funkce aktivní, kdy je potlačena a kdo ji smí potlačit. Právě přechody mezi režimy bývají místem nedorozumění mezi dodavatelem a provozovatelem.

Současně si ujasněte role podle AI Actu. Poskytovatel je podle AI Actu osoba, která systém vyvíjí nebo si jej nechá vyvinout a uvádí jej na trh či do provozu pod svým jménem nebo ochrannou známkou; provozovatel jej používá z vlastní pravomoci. Konkrétní role závisí na okolnostech. Podrobnější zařazení řeší přehled vysoce rizikových AI systémů podle AI Actu a odpovědnost při incidentu rozebírá text o tom, kdo odpovídá za chybu AI.

Kontrolní karta: funkce, režim a vlastník dokumentace

Následující tabulku použijte jako pracovní artefakt pro rozhovor s výrobcem. Je to doporučená interní praxe CIAD pro přípravu otázek, nikoli doložená zákonná povinnost vést záznam právě v této podobě. Každý řádek vyplňte stručně a vyžadujte odkaz na konkrétní dokument, nikoli obecné ujištění.

Trvejte na tom, že sloupec Vlastník nesmí zůstat prázdný. Pokud výrobce řekne, že dokumentaci vede zákazník, musí předat jasný podklad. Pokud ji vede výrobce, musíte vědět, jak si vyžádáte aktuální verzi při změně stroje nebo softwaru.

Jak vést rozhovor s výrobcem krok za krokem

Začněte jedním výrobkem a jednou funkcí. Neřešte celé portfolio najednou. Požádejte o blokové schéma: senzor, předzpracování, model, rozhodovací práh, akční člen a záložní obvod. U každého bloku se ptejte, co se stane při jeho výpadku.

Druhý krok je mapa selhání. Nechte si pro každý způsob selhání potvrdit bezpečný stav výrobku. Typická otázka zní: když AI osobu přehlédne, zastaví stroj někdo jiný. Když AI zastaví stroj zbytečně, jaká škoda vedlejšího rázu vznikne. Požadujte prahové hodnoty, čas odezvy a chování po restartu.

Třetí krok je režimová kontrola. Projděte návod k obsluze a servisní režim. Zeptejte se, zda údržbář může senzory zakrýt, AI odpojit nebo práh dočasně snížit. Zajistěte, aby každá taková výjimka měla záznam, časové omezení a odpovědnou osobu na vaší straně.

Čtvrtý krok je dokumentace a změny. Zjistěte číslo verze modelu, verzi návodu a postup při aktualizaci. Dohodněte, kdo schvaluje novou verzi před nasazením do provozu a kdo archivuje předchozí verzi pro případ zpětného šetření incidentu.

Ilustrativní příklad: hypotetické čerpadlo s AI dohledem

Následující příklad je zcela hypotetický a ilustrativní, neslouží jako důkaz o reálném výrobku ani jako rozhodnutí o posouzení shody. Slouží pouze k ukázce vyplnění karty.

Představte si hypotetické průmyslové čerpadlo, kde AI z vibrací a teploty předpovídá přehřátí ložiska a vydává povel k řízenému zastavení. Výrobce v ilustrativním scénáři uvádí: vstupem jsou dva snímače vibrací a jeden teplotní senzor, výstupem povel do frekvenčního měniče, nezávislou zálohou je tepelný kontakt, který při překročení meze odpojí motor.

Mapa selhání je v tomto ilustrativním případě vyplněna takto: falešně negativní výstup znamená nezachycené přehřátí, bezpečný stav zajišťuje tepelný kontakt; falešně pozitivní výstup znamená zbytečné zastavení linky s přesným výsledkem maximálně jedné neplánované odstávky na ověřovací směnu; výpadek AI delší než 2 sekundy přepne řízení do konzervativního teplotního limitu bez predikce.

Režimová vazba je stanovena přesně: funkce je aktivní pouze v automatickém provozu, v servisním režimu je vyřazena a čerpadlo lze spustit jen ručním potvrzením obsluhy. Vlastník dokumentace je rozdělen: výrobce vlastní schéma a protokol o ověření verze 1.4, provozovatel vlastní záznam o integraci do linky a seznam proškolené obsluhy. Přesným výsledkem karty je závěr k doplnění jednoho chybějícího záznamu o testu přechodu do servisního režimu.

Omezení této přípravy a co udělat dál

Tato kontrolní karta je pouze přípravou otázek. Nenahrazuje posouzení shody konkrétního výrobku, právní výklad AI Actu ani příslušných výrobkových předpisů. Nezahrnuje termíny, pokuty ani záruku souladu. Zda jde o bezpečnostní funkci a jaký režim se na výrobek vztahuje, nelze určit pouze z tohoto checklistu; závisí na konkrétním výrobku a použitelných požadavcích.

Věcným omezením je také závislost na podkladech druhé strany. Pokud výrobce nedodá schéma, tabulku selhání a verzi dokumentace, nemůžete mapu dokončit. V takovém případě kartu uzavřete jako neúplnou a zaznamenejte, který doklad chybí a kdo jej má dodat.

Dalším krokem je předat vyplněnou kartu technikovi, bezpečáku a auditorovi jako společný podklad. Domluvte vlastníka každého dokumentu, termín doplnění chybějících záznamů a způsob archivace verzí. Teprve úplná a verzovaná sada umožní navázat interním auditem bez zbytečných dohadů o tom, kdo měl co dodat.