Kdo má ve firmě vlastnit AI projekt a kdo schvaluje jeho výstupy?

Jeden člověk na vlastnictví, provoz i schvalování je nejčastější příčina, proč AI projekt selže na odpovědnosti

Firmy často svěří AI projekt jednomu nadšenému člověku, který zvládne nástroj nastavit, výstupy sám používá a sám je i schvaluje. Funguje to, dokud nevznikne chyba s reálným dopadem, a v tu chvíli nikdo přesně neví, kdo za rozhodnutí odpovídal a kdo měl pravomoc ho zastavit. Zpětně se pak těžko rekonstruuje, zda šlo o chybu technického nastavení, chybu v posouzení výstupu, nebo o rozhodnutí, které nikdo neměl formální mandát udělat. Řešením je rozdělit projekt na čtyři role, které se mohou v malé firmě částečně spojovat, ale musí být pojmenované a jejich hranice musí být předem jasné.

Čtyři role a co každá skutečně dělá

Vlastník procesu odpovídá za výsledek práce, kterou AI mění, bez ohledu na to, zda je technicky zdatný. Je to role, která ví, co se stane se zákazníkem, dokumentem nebo rozhodnutím, pokud se proces zhorší.

Technický operátor nástroj provozuje, nastavuje a rozumí jeho technickým omezením. Odpovídá za to, že nástroj funguje podle zadání; posouzení, zda je výsledný pracovní výstup v pořádku z pohledu procesu, do jeho odpovědnosti nepatří a zůstává na vlastníkovi procesu.

Schvalovatel potvrzuje výstupy před tím, než mají účinek, u úkolů, kde chyba stojí za kontrolu předem. Jeho úkolem je posoudit výstup nezávisle na tom, kdo a jak ho vytvořil. Nezávislost je tu klíčové slovo: schvalovatel hodnotí konečný výsledek, bez ohledu na to, kolik úsilí do něj operátor vložil.

Osoba s pravomocí projekt zastavit má výslovný mandát přerušit používání AI v procesu, pokud rizika převáží přínos. Bez této role zůstává rozhodnutí o zastavení rozptýlené mezi lidi, kteří k němu formálně nemají důvod, a proto se v praxi často odkládá, dokud problém sám nepřeroste v krizi.

Role se mohou v čase i měnit, a to je v pořádku, pokud je změna vědomá. Firma, která začínala s jedním člověkem ve třech rolích, může s růstem projektu postupně přidávat samostatné lidi, obvykle nejdřív odděleného schvalovatele pro rozhodnutí s vysokým dopadem, protože tam bývá riziko sloučení rolí nejvyšší. Zápis, kdy a proč ke změně došlo, pomáhá i zpětně vysvětlit, proč byl dřívější stav dočasně přijatelný.

Odpovědnost podle typu rozhodnutí

Rozdělení rolí se v praxi liší podle toho, jak vysoký dopad má konkrétní typ rozhodnutí. Tabulka níže ukazuje, která role má u kterého typu rozhodnutí hlavní slovo.

Typ rozhodnutí	Kdo primárně rozhoduje	Role s právem veta nebo zastavení
Nastavení nástroje, technické parametry	Technický operátor	Vlastník procesu, pokud nastavení mění pracovní výsledek
Zařazení nástroje do běžného úkolu	Vlastník procesu	Osoba s pravomocí projekt zastavit
Schválení jednotlivého výstupu s vysokým dopadem	Schvalovatel, nezávislý na operátorovi	Vlastník procesu
Rozšíření projektu na další tým nebo proces	Vlastník procesu	Osoba s pravomocí projekt zastavit
Zastavení nebo pozastavení projektu	Osoba s pravomocí projekt zastavit	×

Proč vlastnictví patří k procesu

Technologické oddělení bývá logickou volbou pro vlastníka jen proto, že projekt technologii používá. Rozhoduje ale o věcech, které přesahují jeho mandát: co je pro zákazníka přijatelné zpoždění, jaká kvalita výstupu je dost dobrá, nebo jestli je riziko chyby v daném procesu úměrné přínosu. Takové otázky umí posoudit jen role, která proces řídí každý den a zná jeho reálné dopady, zatímco role spravující nástroj vidí hlavně jeho technickou stránku.

Vlastnictví u schvalovatele odděleného od operátora řeší podobný problém z jiné strany. Člověk, který výstup vytvořil, k němu má vybudovanou důvěru a snáze přehlédne chybu, kterou by nezávislý pohled zachytil. U rozhodnutí s nízkým dopadem toto oddělení nemusí kvůli časové náročnosti dávat smysl; u rozhodnutí s vysokým dopadem je to podmínka, jejíž vynechání ruší smysl celého schvalovacího kroku.

Minimální dělení v malé firmě

Firma, která nemá kapacitu na čtyři samostatné lidi, může role spojit. Podmínkou je, aby spojení bylo vědomé, zapsané a odůvodněné rozhodnutí. Pokud role drží stejný člověk jen proto, že byl zrovna po ruce v okamžiku, kdy projekt začínal, bez vědomého odůvodnění, oslabuje to celý smysl rozdělení popsaný výše. Nejmenší funkční varianta odděluje aspoň schvalovatele od operátora u rozhodnutí s vysokým dopadem; ostatní role může v malé firmě držet stejná osoba, pokud je to zapsané a případně kontrolované někým mimo firmu, třeba externím poradcem. Bez tohoto minimálního oddělení se ztrácí právě ta kontrola, kvůli které se role rozdělují.

I v nejmenším uspořádání má smysl aspoň jednou za čas přizvat pohled zvenčí, protože člověk, který drží tři role najednou, těžko sám odhalí, kde jeho vlastní rozhodnutí kolidují. Nemusí jít o formální audit; stačí pravidelná schůzka s účetním, právníkem nebo jiným důvěryhodným poradcem firmy, který se zeptá na stejné otázky, jaké by kladl nezávislý schvalovatel ve větší firmě.

Kroky k prvnímu nasazení AI v procesu a k jeho postupnému rozšíření popisuje jak začít používat AI ve firmě a širší rámec zavedení zavedení AI ve firmě. Otázku, kdy smí AI samo rozhodovat o lidech a kdy musí být v rozhodnutí zapojen člověk, řeší smí AI rozhodovat o lidech; tato hranice přímo ovlivňuje, kde je role schvalovatele nezbytná. Nezávislé posouzení fungování AI systému nad rámec běžného schvalování jednotlivých výstupů popisuje co je audit AI systémů.

Stav zdrojů a omezení

Rozdělení na čtyři role a tabulka odpovědnosti jsou metodické doporučení CIAD sestavené z běžné praxe řízení projektů, žádný z uvedených zdrojů tyto čtyři role doslovně nedefinuje. NIST AI RMF pracuje s podobnou logikou přiřazení odpovědnosti v rámci funkce Govern, ale konkrétní pojmenování rolí nepředepisuje; jde o dobrovolný americký rámec, který právní požadavek EU nenahrazuje ani nezakládá. Text neuvádí žádnou statistiku o tom, jak často firmy role slučují nebo jak často to vede k chybě, protože pro takové číslo v použité knihovně zdrojů chybí podklad. Konkrétní hranici mezi rozhodnutím s nízkým a vysokým dopadem musí firma stanovit sama podle vlastního procesu a rizika.