AI vysvětlila svou odpověď: co ověřit mimo její zdůvodnění

Proč přesvědčivé vysvětlení není důkaz

Plynulé zdůvodnění působí důvěryhodně, protože spojuje kroky do souvislého příběhu. Problém je v tom, že tato souvislost sama o sobě nepotvrzuje správnost výsledku ani zdroj dat. proto oddělujte dvě vrstvy: co model tvrdí, a čím je to doloženo mimo jeho text.

Praktické pravidlo zní, že vlastní argumentace systému sama není externím důkazem. Přesvědčivost, délku ani sebejistotu vysvětlení proto nepovažujte za měřítko pravdivosti. Užitečné je chápat vysvětlení jako návrh, kde hledat kontrolu, nikoli jako kontrolu samotnou.

Souvislost s vnitřním fungováním je také omezená. Textový výklad nelze automaticky číst jako věrný popis skutečných vnitřních kroků modelu. Pokud se chcete zorientovat v rozdílu mezi výsledkem a jeho slovním doprovodem, pomůže článek o tom, co je reasoning model, ale ani tam nehledejte záruku, že popis postupu je úplný.

Jak oddělit tvrzení od zdůvodnění

Použijte krátký tříkrokový rozbor přímo nad odpovědí AI. Cílem není hodnotit styl, ale vytáhnout ověřitelné body a každému přiřadit nezávislou kontrolu.

Nejprve podtrhněte všechna tvrzení, která mohou být pravdivá nebo nepravdivá: čísla, data, názvy, postupy, odkazy na dokumenty a závěry typu proto je výsledek X. Stylistické věty, shrnutí a ujištění o správnosti do evidence nepatří.

Potom u každého tvrzení zapište, jaký důkaz by obstál bez AI. Může to být primární dokument, oficiální databáze, vlastní měření, kalkulace ze vstupních dat nebo shoda s dříve schváleným interním podkladem. Teprve nakonec rozhodněte, zda důkaz existuje, chybí, nebo je v rozporu s tvrzením.

Tento postup vědomě neřeší, jak hezky AI argumentovala. Řeší pouze to, zda by tvrzení platilo i tehdy, kdyby zdůvodnění vůbec neexistovalo. Podrobnější kontrolní kroky najdete v návodu, jak ověřit odpověď AI, který touto tabulkou přímo doplňte.

Pracovní karta: tvrzení, externí důkaz a zkouška

Následující tabulku berte jako doporučenou praxi CIAD pro běžné odpovědi. Vyplňte ji pro každou důležitou odpověď před jejím použitím v rozhodnutí, e-mailu zákazníkovi nebo interním pokynu. Kopii si uložte k dané úloze, aby bylo později jasné, o co jste se opřeli.

Do sloupce Zkouška zapisujte konkrétní akci, nikoli odkaz na vysvětlení AI. Příklady zápisu jsou: porovnáno s PDF smlouvy v3.2 strana 4, přepočteno z řádků 12 až 18, ověřeno v interním skladu dne 12. 5., test ID AI-014 spuštěn dvakrát. Chybějící důkaz znamená, že tvrzení nesmí do rozhodnutí.

Pokud se stejná tvrzení opakují, převeďte úspěšné zkoušky do stálé sady. Postup pro uložení a opakování najdete v návodu, jak vytvořit interní testovací sadu pro AI, kde se právě tato tabulka stává vstupem pro jeden testovací případ.

Hypotetický příklad s přesným výsledkem

Následující příklad je zcela ilustrativní a hypotetický, neslouží jako měření žádného konkrétního nástroje. Představte si, že AI odpoví na dotaz k internímu vyúčtování: poplatek činí 4 840 Kč, protože součet tří položek je 2 000 + 1 900 + 940 Kč, a odkazuje na směrnici verze 2.

Její vysvětlení zní logicky a obsahuje i mezisoučet. Přesto rozbor ukáže tři samostatná tvrzení: výše jednotlivých položek, jejich součet a existence směrnice verze 2. Vysvětlení samo o sobě žádné z nich nedokazuje.

Kontrola mimo zdůvodnění dopadne takto: položky v podkladu jsou 2 000, 1 900 a 940 Kč, nezávislý přepočet dává přesný výsledek 4 840 Kč, ale směrnice v úložišti existuje pouze ve verzi 1. Výsledek karty je proto: tvrzení 1 potvrzeno, tvrzení 2 potvrzeno výpočtem 4 840 Kč, tvrzení 3 rozpor, verze 2 nenalezena.

Rozhodnutí pak stojí na externím důkazu, nikoli na plynulosti textu. Částku lze použít, odkaz na směrnici verze 2 nikoli. Do poznámky zapište: použito po nezávislém přepočtu, odkaz na směrnici před použitím opravit. Tím se chyba ve zdůvodnění nestane chybou v rozhodnutí, i když zbytek odpovědi vypadal přesvědčivě.

Omezení tohoto postupu

Tabulka pomáhá u ověřitelných tvrzení, ale neřeší všechno. Názory, doporučení, kreativní návrhy a obecné rady nemají jednoznačný externí důkaz, takže u nich kontrolujte spíše vstupy, rizika a soulad se zadáním než pravdivost každé věty.

Doložený fakt k tomuto přístupu je úzký: rámec NIST AI Risk Management Framework doporučuje hodnotit důvěryhodnost a rizika systémů AI (NIST AI Risk Management Framework). Zbytek v tomto článku je původní pracovní rada CIAD, nikoli výklad uvedeného rámce.

Počítejte také s možností, že primární zdroj bude nejasný, zastaralý nebo nedostupný. V takovém případě je správným výsledkem nenalezeno, nikoli slabé potvrzeno. Stejně tak opakovatelná zkouška může selhat kvůli změně dat, proto si vždy zapište datum, verzi zdroje a přesný dotaz.

Další krok pro tým

Zaveďte pravidlo, že důležitá odpověď AI bez vyplněné karty nejde dál. Stačí sdílená šablona tabulky, pojmenování důkazů a místo pro uložení logu nebo kopie zdroje.

Začněte u jednoho typu úloh, například u částek, termínů nebo citací předpisů pro interní potřebu. Po deseti vyplněných kartách projděte, kde se rozcházelo vysvětlení AI a externí důkaz, a z těchto míst vytvořte první stálé testy. Tím se ověřování přesune od jednorázového čtení zdůvodnění k opakovatelné kontrole, která drží i při změně modelu nebo formulace dotazu.