Oznámení o AI: jak otestovat srozumitelnost a dostupnost

Rozsah testu oznámení o AI

Tento postup slouží k ověření, zda uživatel oznámení na obrazovce najde, porozumí mu a může s ním pracovat bez myši. Není právním posouzením ani úředním formulářem. Obecný přehled regulace najdete v textu co je AI Act. Provozní otázky můžete řešit také podle přehledu povinností firmy, která AI používá a samostatně posoudit kdo odpovídá za chybu AI.

Níže uvedený postup je pracovní návrh CIAD pro přípravu podkladů. Informace Evropské komise k transparentnosti AI využijte při konkrétním odborném posouzení; tento pracovní test sám nepotvrzuje právní soulad. WCAG 2.2 od W3C zde slouží jako technická kontrolní pomůcka; samotný text ani tento test nepředstavují certifikaci přístupnosti.

Kdy test spustit a co připravit

Test zařaďte při přípravě nové verze dialogu, po změně znění oznámení nebo po změně jeho umístění či zobrazení. Zvolte testovací stránku a scénář, který odpovídá běžnému použití. Zajistěte zapisovatele, který nebude testerovi napovídat. Pokud máte k dispozici více testerů, zaznamenejte jejich pozorování odděleně; malé uživatelské ověření samo o sobě nepředstavuje statistický důkaz.

Připravte si:

1. obrazovku, na které se oznámení zobrazuje;
2. konečné znění oznámení bez pracovních poznámek a zástupných značek;
3. počítač s klávesnicí, prohlížeč a čtečku obrazovky se zvukovým výstupem;
4. záznamovou tabulku z následující části;
5. scénář: otevřít stránku, najít oznámení, přečíst je, poslechnout si je, potvrdit je a vyzkoušet zavření dialogu.

Při klávesnicovém průchodu odložte myš, aby tester mohl ověřit ovládání klávesnicí. Hlasitost a velikost písma nastavte před začátkem a zaznamenejte případné nastavení, které může mít vliv na pozorování. Testerovi předem nesdělujte, kde se oznámení nachází ani jaký text má obsahovat.

Postup CIAD: text, zvuk, klávesnice a porozumění

Projděte čtyři části samostatně a u každé zapište pozorování. Výsledek jednoho průchodu nenahrazuje výsledek ostatních.

1. Pohled: Otevřete stránku a sledujte, zda tester oznámení najde bez nápovědy. Zaznamenejte jeho umístění, čitelnost, kontrast a případné hledání. Poznamenejte také, zda je z textu zřejmé, že jde o komunikaci s AI, a zda jsou věty srozumitelné.
2. Zvuk: Zapněte čtečku obrazovky a projděte stránku od jejího začátku. Zapište, zda čtečka oznámení přečte celé, v pochopitelném pořadí a bez rušivých opakování. Zachyťte konkrétní slova nebo formulace, kterým tester nerozuměl. Nevyvozujte z jedné čtečky závěr o všech možných nastaveních či zařízeních.
3. Klávesnice: Myš nepoužívejte a procházejte stránku klávesami Tab a Shift+Tab. Ověřte, zda je vidět fokus, zda pořadí odpovídá obsahu a zda se lze dostat k oznámení i ovládacím prvkům. Vyzkoušejte Enter pro potvrzení a Escape pro zavření pouze tehdy, pokud tyto klávesy odpovídají zamýšlenému ovládání dialogu. Zaznamenejte, co se skutečně stalo; nepředpokládejte, že každá stránka musí reagovat stejně.
4. Porozumění: Požádejte testera, aby vlastními slovy popsal, s čím komunikuje a co může udělat dál. Zapište jeho odpověď co nejpřesněji a také otázky, které položil. Hodnoťte srozumitelnost sdělení, nikoli paměť nebo rychlost odpovědi.

U každé části zvolte stav „vyhověl“, „vyhověl s výhradou“ nebo „nevyhověl“ a připište důvod. Jde o pracovní hodnocení podle předem určených kritérií, nikoli o automatické rozhodnutí o člověku nebo o právním souladu systému. Při nejasném výsledku popište, co je třeba ověřit znovu, místo abyste nejistotu skryli do celkového hodnocení.

Záznam o testu oznámení

Vyplňte samostatný řádek pro každý průchod. Záznam připojte k testované verzi textu, aby bylo možné rozlišit původní pozorování od případných pozdějších úprav. Tester popisuje, co se stalo; odpovědná osoba posuzuje, jak s výsledkem naložit.

Vyplněné řádky následující tabulky jsou syntetické příklady zápisu, nikoli záznam provedeného uživatelského testu.

K tabulce doplňte název systému, označení testované verze textu, datum, jméno testera, použitý prohlížeč a čtečku a případnou přílohu, například snímek obrazovky. Zaznamenejte také podmínky, které mohly ovlivnit průběh, a osobu odpovědnou za další posouzení. Pokud záznam otevírá právní otázku, otázku odpovědnosti nebo potřebu interního schválení, předejte jej příslušné odpovědné osobě. Samotná tabulka takové posouzení nenahrazuje.

Syntetický modelový příklad: chatbot při rezervaci

Následující příklad je výslovně syntetický a vytvořený pouze pro nácvik zápisu; nepopisuje skutečný provoz, uživatelský výzkum ani naměřené výsledky.

Testovaná obrazovka obsahuje nad polem větu: „Tady odpovídá asistent s umělou inteligencí. Napište požadavek na termín. Odpověď zkontrolujte.“ Pod textem je odkaz „Jak požádat o člověka“ a tlačítko „Rozumím“.

Vymyšlený průběh testu: testerka otevře stránku a najde větu bez nápovědy. Čtečka obrazovky přečte nejprve nadpis „Rezervace“, potom oznámení, odkaz a tlačítko. Při ovládání klávesnicí se testerka dostane k odkazu i tlačítku a fokus je podle jejího pozorování zvýrazněný rámečkem. Na otázku, co se děje, odpoví: „Píšu asistentu s AI, mohu chtít člověka.“

Rozbor tohoto syntetického scénáře: umístění před polem, krátké věty a informace o možnosti požádat o člověka jsou prvky, které stojí za zaznamenání. Výhrada se týká věty „Odpověď zkontrolujte“, protože není zřejmé, co přesně má uživatel kontrolovat. Možnou úpravou je upřesnění obsahu, například času a místa, pokud taková informace odpovídá skutečnému použití systému. Poté lze znovu projít zvukovou část testu a zaznamenat výsledek nové verze. Příklad slouží pouze k nácviku; nedokládá splnění požadavků ani skutečné chování systému.

Kdy záznam vrátit k úpravě

Zaznamenejte důvod k dalšímu posouzení nebo úpravě, pokud tester oznámení nenajde, zvukový výstup text vynechá či zkreslí, ovládání klávesnicí neprobíhá srozumitelně nebo tester nedokáže vlastními slovy popsat, že komunikuje s asistentem s umělou inteligencí. Stejně postupujte, pokud text obsahuje zástupné značky, pracovní poznámky nebo nejasnou informaci o kontaktování člověka.

Prověřte také, zda testovaná verze odpovídá verzi určené k použití. Pokud se text nebo rozložení mezitím změnily, původní záznam popisuje předchozí stav a nelze jej bez dalšího vztáhnout k nové verzi. Při pochybnostech o právním hodnocení, odpovědnosti nebo interním schválení předejte podklady odpovědné osobě; uživatelský test tyto otázky nerozhoduje.

Při vrácení k úpravě uveďte konkrétní zjištění, verzi, které se týká, a osobu odpovědnou za další krok. Původní záznam zachovejte a výsledek nového průchodu zapište odděleně, aby bylo zřejmé, co se změnilo. Rozhodnutí o dalším použití textu ponechte osobě odpovědné za příslušné schválení.