Proč stejný prompt dává jiné odpovědi: zkouška opakovatelnosti

Proč se výstup mění i bez změny zadání

Začněte u samotného zadání, protože prompt je jen jedna část vstupu. Stejný text může model zpracovat pokaždé trochu jinak, pokud se liší skrytý kontext, předchozí konverzace, připojené soubory, nástroje nebo aktuální verze služby. Proto při hledání příčiny neměňte zadání, ale nejprve zafixujte okolí.

Dokumentace OpenAI k vyhodnocování uvádí, že modely se mohou chovat nedeterministicky, a proto má smysl opakovaným testováním zjišťovat stabilitu výkonu v konkrétním úkolu, viz průvodce vyhodnocováním. Jde o doložený princip z tohoto zdroje, zbytek postupu níže je doporučená praxe CIAD pro interní kontrolu.

Důležité je také oddělit obecný princip nedeterminismu od chování konkrétního produktu. Různé aplikace mohou přidávat vlastní předzpracování promptu, paměť, vyhledávání v dokumentech nebo výchozí nastavení generování. Nastavení přitom podle podkladu není univerzální záruka shodného textu, takže ho berte jako pozorovanou podmínku testu, nikoli jako přepínač dokonalé opakovatelnosti.

Kdy je rozdíl normální a kdy ho řešit

Drobná přeformulování, jiné pořadí bodů nebo odlišné příklady obvykle znamenají, že se mění styl, ale podstata zůstává. sledujte hlavně věcné změny: jiná čísla, jiný postup, jiný závěr, chybějící krok, jiná interpretace nejednoznačného zadání a jiná míra opatrnosti u rizikových tvrzení.

Rozdíl řešte, když se výstupy neshodují v tom, co má příjemce udělat. Typicky jde o návody, kontrolní seznamy, odpovědi zákazníkům, shrnutí pro rozhodnutí nebo opakované provozní texty. Pokud jeden průchod vynechá varování, druhý přidá nepodložený detail a třetí změní doporučený postup, není zadání provozně stabilní.

Naopak u tvůrčího brainstormingu nebo prvního návrhu struktury může být variabilita užitečná. I tam si ale poznačte, zda se mění fakta, nebo jen formulace. Právě toto rozlišení rozhoduje, jestli prompt stačí zpřesnit, rozdělit na kroky, doplnit o vstupy, nebo přesunout do kontrolovanějšího pracovního postupu.

Tříprůchodový test: co si připravit

Tříprůchodový test je doporučená praxe CIAD pro rychlou orientační zkoušku, ne laboratorní měření. Cílem je zjistit stabilitu konkrétního úkolu, proto použijte přesně stejné zadání, stejný účet a službu, stejné nastavení, nové samostatné konverzace a stejné případné přílohy.

Připravte si jeden reálný úkol, například shrnutí interního zápisu, návrh odpovědi zákazníkovi nebo kontrolu textu. Zapište datum, čas, název modelu nebo verze služby tak, jak ji vidíte v rozhraní, použité nastavení, zda byl zapnutý web, dokumenty či paměť, a přesné znění promptu. Teprve pak spusťte třikrát za sebou stejný prompt bez úprav a bez doplňujících otázek mezi průchody.

Každý výstup uložte celý, včetně času vygenerování. Nevybírejte jen nejlepší verzi a neopravujte překlepy před porovnáním. Pokud chcete test rozšířit později, poslouží vám jako základ interní testovací sada pro AI, kam tento jeden případ uložíte jako první opakovatelný vzor.

Záznamová tabulka a způsob porovnání

Porovnávejte vždy nejprve obsah, potom formu. použijte následující kartu a vyplňte ji pro každý ze tří průchodů. Rozdíly popisujte konkrétně, ne slovně jako lepší nebo horší.

Po vyplnění si položte čtyři rozhodovací otázky. Je závěr ve všech průchodech stejný. Jsou kroky nebo údaje zaměnitelné bez rizika. Dá se výstup použít po stejné kontrole. Vzniká chyba jen možností přeformulování, nebo mění význam. Pokud se mění význam, prompt zatím není stabilní a potřebuje zpřesnění, příklad vstupu, požadovaný formát nebo rozdělení na menší kroky.

Výsledek testu zapište jednou větou, například stabilní pro návrh, nestabilní v číslech nebo stabilní struktura s proměnlivými příklady. Tento verdikt je pracovní, platí jen pro testovaný úkol, verzi a podmínky, nikoli obecně pro model.

Ilustrativní příklad: stejná otázka třikrát

Následující hypotetický příklad je zcela ilustrativní a neslouží jako měření přesnosti. Představte si interní úkol: Shrň zápis z patnáctiminutové porady do pěti bodů, u každého bodu uveď odpovědnou osobu a termín, pokud je v zápisu.

Průchod 1 vrátí pět bodů a u dvou bodů uvede termín pátek. Průchod 2 vrátí také pět bodů, ale páteční termín přiřadí jinému bodu a přidá větu, že třetí bod je méně urgentní, ačkoli to v zápisu není. Průchod 3 vrátí čtyři body, pátý sloučí s prvním a jednu odpovědnou osobu neuvede.

Výsledek této ilustrativní zkoušky ukazuje rozdíly v přiřazení termínů, nepodložené hodnocení urgency a chybějící osobu. Verdikt zní, že zadání je pro provoz nestabilní, protože změny mění odpovědnost a termín. Doporučujeme v takovém případě zpřesnit prompt o povinný formát bodu, zákaz doplňování priorit a pravidlo pro chybějící termín.

Tento typ opakované chyby si uložte a dále zpracujte podle postupu sběr chyb a zlepšování AI postupu, aby se stejná záměna termínu nebo osoby nevracela v dalších testech.

Omezení testu a co navazuje

Tři průchody ukazují praktickou stabilitu, ale neprokazují, že čtvrtý výstup bude stejný. Výsledek se může lišit po aktualizaci služby, změně dokumentu, jiném uživateli nebo jiném nastavení. Chyby popisujte jako možnost, nikoli jako jistou míru selhání, protože z malého testu nelze odvozovat statistiku.

Nezevšeobecňujte závěr na všechny služby ani všechny úkoly. Stabilní shrnutí krátkého zápisu neznamená stabilní právní výklad, výpočet ani práci s neúplnými podklady. Funkce konkrétního produktu, například paměť nebo automatické vyhledávání, posuzujte odděleně a nevydávejte jejich chování za obecnou vlastnost modelů.

Jako další krok ponechte úspěšný případ v interní sadě a nestabilní případ vraťte k úpravě promptu. Změňte vždy jednu věc, například formát výstupu nebo způsob zadání termínů, a test znovu třikrát zopakujte. Teprve když se věcné rozdíly přestanou dotýkat odpovědnosti, termínů a doporučeného postupu, má smysl prompt nasadit do běžné práce s lidskou kontrolou.