Pilot skončí jedním ze tří způsobů, a rozhoduje o tom podmínka zapsaná předem
AI pilot v praxi skončí jedním ze tří způsobů: zastavením, úpravou rozsahu s dalším pokračováním, nebo přechodem do běžného provozu. To, který z těchto výsledků nastane, by nemělo záviset na tom, kdo pilot vedl nebo jak moc se do něj vložil, ale na podmínkách zapsaných dřív, než pilot vůbec začal. Pokud podmínky chybí, rozhoduje se dodatečně podle dojmu, a dojem má sklon podporovat pokračování bez ohledu na to, co pilot skutečně ukázal.
Kdy pilot zastavit
Čtyři situace vedou k zastavení bez ohledu na to, jak nadějně pilot na začátku vypadal.
Ověřitelný výstup nedosahuje spolehlivosti odpovídající důsledku rozhodnutí, které z něj vychází. Úkol s nízkým důsledkem snese víc chyb než rozhodnutí ovlivňující zákazníka nebo smlouvu, a tato hranice se posuzuje podle konkrétního úkolu a jeho reálného dopadu. Obecný pocit, že „to většinou funguje“, takovou hranici nahradit nemůže, protože nerozlišuje mezi drobnou chybou a chybou s vážným důsledkem. Vlastník pilotu by měl umět tuto hranici pojmenovat ještě předtím, než uvidí první výstupy, protože po nich už se posuzuje obtížněji a s menším odstupem od výsledku, který sám chce, aby vyšel dobře.
Vstupní data, na kterých měl pilot stavět, ve skutečnosti nejsou dostupná v potřebné kvalitě nebo formě. Pilot navržený pro strukturovaná data selhává, pokud reálné podklady leží rozptýlené a nekonzistentní. Jde o problém předpokladu, se kterým pilot začal. Samotný přístup nemusí být vadný, a proto se dá tento konkrétní problém řešit přípravou dat dřív, než se o přístupu vysloví jakýkoli konečný soud.
Náklad na kontrolu výstupů přesahuje přínos, který pilot přináší. Pokud kontrola spotřebuje víc času, než kolik se ušetří na samotném úkolu, pilot čistý přínos nemá, i kdyby výstupy samotné vypadaly kvalitně. Tento typ selhání bývá nejhůř vidět, protože jednotlivé výstupy mohou vypadat výborně a teprve součet hodin strávených kontrolou ukáže, že se práce ve výsledku nezrychlila.
Proces, který měl pilot zrychlit nebo zlepšit, se stejně mění z jiného důvodu, například reorganizací nebo změnou dodavatele. V takovém případě pilot vyhodnocuje podmínky, které už za chvíli nebudou platit, a pokračování nemá smysl bez ohledu na dosavadní výsledky. Zastavení tu není hodnocením kvality pilotu, ale uznáním, že se mezitím změnil samotný předmět měření.
Kdy pilot upravit a pokračovat
Úprava rozsahu má smysl, pokud se problém dá přesně pojmenovat a je řešitelný bez úplného restartu. Dva časté případy: užší rozsah pilotu vypadá životaschopně, i když plný rozsah selhal, nebo se ukázalo, že selhání pramenilo hlavně ze vstupních dat a příprava dat problém pravděpodobně odstraní, i kdyby samotný přístup zůstal beze změny.
V obou případech je potřeba znovu zapsat podmínky pro nové, užší kolo pilotu. Pouhé pokračování s vágní nadějí, že se to příště povede lépe, podmínky nenahrazuje. Úprava bez nových podmínek je jen odklad rozhodnutí, které pilot měl přinést, a druhé kolo skončí stejnou nejistotou jako první, pokud se nezmění, co konkrétně se sleduje a proti čemu se to porovnává.
Co potřebuje přechod do běžného provozu
Dobrý výsledek pilotu sám o sobě přechod do provozu neospravedlňuje. Provoz potřebuje čtyři věci navíc: jmenovaného vlastníka odpovědného za proces i po skončení pilotní fáze, psaná pravidla pro to, kdy a jak se AI v procesu používá, pokračující krok kontroly srovnatelný s tím, co pilot ověřoval, a rozpočtovou položku počítající s trvalým provozem, nikoli jen s jednorázovým vyzkoušením. Bez těchto čtyř bodů se pilot v tichosti stane provozem bez rozhodnutí, které by ho jako provoz schválilo, a chybějící rozpočtová položka bývá první věc, která se v takovém tichém přechodu ztratí.
Rozhodovací list
| Výsledek | Podmínka | Potřebný důkaz |
|---|---|---|
| Zastavit | Spolehlivost pod hranicí pro daný důsledek, chybějící vstupní data, kontrola dražší než přínos, nebo měnící se proces | Zaznamenaný vzorek výstupů s chybami a jejich příčinou, srovnání nákladu kontroly s přínosem |
| Upravit a pokračovat | Užší rozsah je životaschopný, nebo selhání pramenilo ze vstupních dat | Určení, kde přesně selhání nastalo, a nové, konkrétnější podmínky pro další kolo |
| Převést do provozu | Výsledky odpovídají zapsané podmínce úspěchu | Jmenovaný vlastník, psaná pravidla použití, plán pokračující kontroly, schválená rozpočtová položka |
Pokud pilot skončí zastavením, zapište stručně, co konkrétně selhalo a za jakých podmínek by mělo smysl kandidáta zkusit znovu. Tento záznam brání tomu, aby se stejný nápad tiše vrátil za rok se stejným výsledkem jen proto, že si na předchozí pokus nikdo nevzpomněl. Stačí pár vět: jaký typ selhání nastal, na jakém vzorku se to ukázalo a co by muselo být jinak, aby měl nový pokus šanci dopadnout jinak než ten předchozí. Tato poznámka má hodnotu i pro úplně jiný tým, který by za rok mohl podobný nápad navrhnout nezávisle a bez znalosti dřívějšího pokusu.
Kroky předcházející samotnému pilotu, tedy první použití AI v procesu, popisuje jak začít používat AI ve firmě, a širší rámec přechodu z pilotu do plného zavedení shrnuje zavedení AI ve firmě. Rozpočtová položka pro provoz se počítá jinak než jednorázový náklad pilotu; orientaci v nákladech nasazení nabízí kolik stojí nasazení AI ve firmě. Pokračující kontrolu po přechodu do provozu, na rozdíl od jednorázového ověření během pilotu, popisuje co je audit AI systémů.
Stav zdrojů a omezení
Tři výsledky pilotu a rozhodovací list jsou metodické doporučení CIAD; žádný z uvedených zdrojů tuto přesnou metodiku nepopisuje. NIST materiály k testování, evaluaci, validaci a verifikaci nabízejí slovník pro posouzení spolehlivosti AI systému, ale konkrétní hranici spolehlivosti pro žádný pilot ani formu tohoto rozhodovacího listu nepředepisují; jde o dobrovolné americké zdroje, které nezakládají právní požadavek EU ani nezaručují žádný konkrétní výsledek. Text neuvádí žádnou míru úspěšnosti nebo neúspěšnosti pilotních projektů AI, protože pro takové číslo v knihovně zdrojů chybí podklad, a neurčuje pevnou délku pilotu, protože ta závisí na konkrétním úkolu. Výpočet návratnosti po skončení pilotu a šablona přípravné zadávací dokumentace nejsou součástí tohoto textu.
Časté dotazy
Co dělat, pokud pilot začal bez předem zapsaných podmínek?
Podmínky se dají zapsat i dodatečně, ale je potřeba to udělat vědomě a před dalším rozhodnutím, dokud ještě není jasné, jak pilot dopadne. Vlastník pilotu spolu s lidmi, kteří s výstupy pracují, popíše, jaká spolehlivost, náklad na kontrolu a dostupnost dat by měly platit, a teprve podle toho pilot vyhodnotí.
Znamená zastavení pilotu, že se nápad nesmí zkusit znovu?
Ne automaticky. Záznam z ukončeného pilotu ale musí uvádět, co konkrétně selhalo, aby se stejný nápad nezkoušel znovu za stejných podmínek s očekáváním jiného výsledku. Pokud se později změní vstupní data, dostupný nástroj nebo samotný proces, může být opakování pilotu za nových podmínek zcela oprávněné.
Jak poznat, že selhání pilotu je spíš ve vstupních datech než v přístupu?
Porovnejte, kde konkrétně výstup selhává. Pokud chyby souvisí s neúplnými, nekonzistentními nebo těžko dostupnými podklady, jde spíš o problém dat, který může vyřešit jejich příprava. Pokud selhává i práce s kompletními a kvalitními podklady, problém je v samotném přístupu nebo nástroji.
Musí mít pilot pevně daný termín ukončení předem?
Text nepředepisuje konkrétní délku, protože záleží na povaze úkolu a rychlosti, jakou lze získat srovnatelný vzorek výstupů. Důležitější než pevné kalendářní datum je předem dohodnutý minimální rozsah pozorování, po kterém má vlastník dost podkladů pro rozhodnutí, ať už vyjde ve prospěch pilotu, nebo proti němu.
Kdo rozhoduje, pokud se vlastník pilotu a schvalovatel výstupů neshodnou?
Rozhodnutí patří té roli, která má formální pravomoc pilot zastavit nebo posunout do provozu, obvykle nadřízené vlastníkovi pilotu. Neshoda mezi vlastníkem a schvalovatelem je sama o sobě užitečný signál, protože často znamená, že podmínky pro pokračování nebyly zapsané dost konkrétně.
ZDROJE A OVĚŘENÍ
revidováno Lukáš Dlouhý ·