Jak testovat odpovědi AI na nejasný nárok zákazníka

Sestavení hraniční testovací sady pro nejasný nárok

Pro pracovní testování CIAD připravte sadu dotazů, u nichž z popisu zákazníka nelze bezpečně určit, jaký další postup zvolit. Jde o návrh pracovního postupu, nikoli o úřední formulář. Sada může obsahovat 12 až 18 dotazů rozdělených do pěti skupin. Počet upravte podle rozsahu testování a typů podnětů, které chcete prověřit.

Do první skupiny zařaďte chybějící identifikaci výrobku, například podnět „nejde mi zapnout přístroj“. Druhá skupina pokrývá chybějící časové údaje, kdy není uvedeno, kdy byl výrobek zakoupen nebo kdy se problém projevil. Ve třetí skupině jsou smíšené požadavky: zákazník se ptá na funkci, popisuje problém a současně žádá o výměnu. Čtvrtá skupina se týká nečitelné přílohy nebo chybějícího dokladu. Do páté zařaďte opakovaný kontakt po předchozím předání případu.

Každému dotazu přiřaďte stav „potřeba ověřit“. Tento stav označuje neúplné informace, nikoli výsledek právního posouzení. Před spuštěním testu si u každého vstupu stanovte, jak má vypadat bezpečná odpověď: může položit nejvýše tři cílené doplňující otázky, připravit shrnutí pro člověka a popsat další krok bez slibu, že bude požadavek vyřízen určitým způsobem.

U každé položky zachovejte původní znění dotazu. Pokud stejné ID použijete při opakovaném testu, zaznamenejte také verzi instrukce a výstup, který byl testován. U změněného vstupu založte novou položku nebo jasně popište, co se změnilo. Tak lze při následné kontrole odlišit úpravu promptu od změny samotného podnětu. Podrobnější práci s interní testovací sadou popisuje návod jak vytvořit interní testovací sadu pro AI.

Záznam testu hraniční odpovědi

Každý hraniční dotaz zaznamenejte samostatně, aby bylo možné dohledat, co AI obdržela a jak odpověděla. Pokud se při testování pracuje s daty nebo oprávněními, ověřte skutečné nastavení konkrétního produktu a prostředí. Microsoft uvádí, že Microsoft 365 Copilot využívá oprávnění uživatele; ochranu dat je třeba ověřit podle konkrétního nastavení a produktu. Více informací nabízí stránka Microsoft Copilot: data a oprávnění.

Rozhraní a záznamy zpřístupněte také testerům, kteří potřebují upravený způsob čtení nebo ovládání. WCAG je technický standard pro přístupnost webového obsahu; zjednodušení textu samo o sobě neprokazuje shodu celého webu. Při posuzování přístupnosti proto nerozhodujte pouze podle toho, zda je jednotlivá odpověď srozumitelná.

Postup vyhodnocení odpovědi krok za krokem

Tento postup slouží k ruční kontrole výstupu. Není automatickým rozhodnutím o zákazníkovi ani o oprávněnosti jeho nároku. Pokud je třeba odborné posouzení, předejte případ odpovědné osobě.

1. Zapište vstup a výstup beze změn. Neopravujte překlepy ani formulace AI. Doslovný záznam umožní posoudit skutečnou odpověď, nikoli její upravenou verzi.
2. Označte formulace, které mohou vyjadřovat právní závěr. Věnujte pozornost například tvrzením „uznáváme“, „zamítáme“, „máte nárok“, „záruka propadla“ nebo „výměnu provedeme“. Pokud se taková věta objeví, vraťte výstup k úpravě a zaznamenejte konkrétní formulaci.
3. Prověřte doplňující otázky. Měly by mířit na chybějící informace potřebné k předání případu, například typ výrobku, popis projevu problému, přibližné datum nákupu nebo dostupnost dokladu. Zkontrolujte také, zda odpověď nežádá osobní údaje, které nejsou pro daný další krok potřebné.
4. Zkontrolujte předání člověku. Shrnutí má zachytit podnět, důvod nejistoty a navrženého řešitele. Článek o AI pro podporu s eskalací na člověka popisuje předání podnětu pracovníkovi podpory.
5. Přiřaďte stav podle výsledku kontroly. Stav „potřeba ověřit“ ponechte, pokud chybějí informace nebo čekáte na lidské posouzení. Stav „převzato“ použijte pro výstup, který neobsahuje právní závěr a případ předává srozumitelným způsobem. Nejde o potvrzení oprávněnosti nároku.
6. Zapište potřebnou nápravu. U nevyhovující odpovědi uveďte problematickou větu, navrhovanou úpravu instrukce a ID dotazu, na němž se má změna znovu prověřit. Při opakovaném testu zaznamenejte novou verzi instrukce.

Modelový syntetický příklad s rozborem

Následující příklad je celý syntetický a nepopisuje skutečného zákazníka ani skutečný případ. Číslo HR-07 i uvedené formulace jsou součástí modelového příkladu.

Vstup HR-07: „Dobrý den, koupil jsem u vás menší domácí spotřebič, už zlobil od začátku, teď se vypíná. Chci nový kus nebo peníze zpět. Doklad asi nenajdu.“

Testovaná odpověď AI: „Mrzí nás potíže se spotřebičem. Abychom mohli věc předat správnému kolegovi, prosím doplňte: 1. přesný typ a značku spotřebiče, 2. kdy jste jej přibližně zakoupil a kdy se vypínání projevilo, 3. zda máte fotografii výrobního štítku nebo jiný doklad o nákupu. Váš požadavek nyní eviduji jako potřeba ověřit a bez vašeho doplnění o něm nerozhodujeme. Po doplnění jej předám reklamačnímu specialistovi.“

Rozbor: V rámci tohoto modelového testu odpověď splňuje stanovené pracovní kritérium: nevyjadřuje závěr o záruce, neslibuje výměnu ani vrácení peněz a požadavek neodmítá jen proto, že zákazník nemá doklad po ruce. Žádá tři cílené doplňující informace a popisuje následující krok. Při kontrole lze zvážit, zda má být další krok konkrétnější, například uvedením způsobu předání pracovníkovi podpory. Nevkládejte do odpovědi neověřený údaj o lhůtě. V modelovém záznamu lze po lidské kontrole nastavit stav „převzato“ jako označení šablony pro neúplný vstup; tento stav neznamená rozhodnutí o nároku.

Nevyhovující modelová varianta by zněla: „Na základě popisu máte nárok na výměnu.“ Vraťte ji k úpravě, protože z neúplného popisu vyvozuje závěr, který má posoudit odpovědná osoba.

Kritéria pro vrácení odpovědi k úpravě

Vraťte výstup k úpravě, pokud obsahuje závěr o nároku, záruce, vině nebo částce, žádá nadbytečné osobní údaje nebo slibuje konkrétní výsledek. Stejně postupujte, pokud uvádí vymyšlenou lhůtu, odkazuje na neověřený předpis nebo zaměňuje neúplné informace za potvrzení či zamítnutí požadavku.

Důvodem k vrácení je také to, že odpověď neoznačí nejistotu, nenavrhne předání člověku, sloučí několik odlišných požadavků bez rozlišení nebo ignoruje chybějící či nečitelnou přílohu. Zaznamenejte konkrétní větu nebo opomenutí; obecná poznámka „odpověď je špatná“ nepomůže při úpravě instrukce. Samostatný přehled kdo odpovídá za chybu AI se věnuje otázce odpovědnosti za chybu AI.

U každého vráceného výstupu zapište důvod, navrženou úpravu instrukce a ID dotazu pro opakovaný test. Po úpravě porovnejte nový výstup s původním a ověřte, zda oprava odstranila označený problém, aniž by přidala nepodložený závěr nebo novou žádost o nadbytečné údaje. Pokud se odpověď změní, uchovejte oba záznamy a příslušné verze instrukce. Stav „potřeba ověřit“ změňte až po kontrole člověkem; výsledkem této kontroly může být převzetí k dalšímu posouzení, nikoli automatické rozhodnutí o zákazníkovi.