Teplota AI není přesnost: jak porovnat dvě nastavení

Příprava porovnání a vyplnitelný záznam

Pro porovnání zvolte pět až osm zadání z běžné práce, například popis vady, návrh odpovědi zákazníkovi, shrnutí porady nebo varianty nadpisu. Znění zadání, požadovaný rozsah, formát i povolené podklady předem zafixujte. Mezi během A a během B nic z toho neměňte. Zaznamenejte název nástroje, datum a obě nastavení přesně tak, jak je ukazuje vaše prostředí. Nepřevádějte je na univerzální číselnou škálu.

API dokumentace popisuje teplotu jako nastavení vzorkování. Některé modely parametr teploty nepodporují a univerzální hodnota použitelná pro všechny modely neexistuje. Nastavení rozmanitosti samo o sobě nedokládá věcnou správnost výstupu (OpenAI, „Generování textu“). Proto veďte hodnocení správnosti a rozmanitosti odděleně.

Vyplňte pro každé zadání jeden řádek:

Stupnici správnosti používejte jako pracovní pomůcku: 0 znamená věcnou chybu nebo neověřitelné tvrzení, 1 označuje výstup částečně použitelný po opravě a 2 výstup ověřený proti podkladu bez věcné výhrady. Rozmanitost zaznamenejte slovně zvlášť. Všímejte si překryvu mezi variantami, opakování stejných vět i počtu skutečně odlišných a použitelných návrhů.

Postup CIAD pro slepé porovnání

Postup tvoří vymezení cíle, zachování stejných vstupů, anonymizace a dvojí hodnocení. Jde o pracovní postup pro porovnání, nikoli o úřední formulář. Odpovědná osoba posuzuje, zda výstup lze převzít; bodové skóre samo toto rozhodnutí nenahrazuje.

1. Cíl: Zapište, co chcete porovnat, například míru opakování variant nebo jejich použitelnost. Určete, jaký výsledek by pro konkrétní typ úlohy dával smysl. Zachovejte stejné zadání, rozsah výstupu a povolené podklady pro oba běhy.
2. Identické vstupy: Vytvořte výstup A a výstup B pro každé zafixované zadání. Ostatní dostupné volby nástroje ponechte stejné. Pokud nástroj nabízí historii nebo paměť, začněte čistou relaci. Citlivé údaje nahraďte neutrálními zástupci ještě před vložením zadání.
3. Anonymizace: Odstraňte označení nastavení, soubory označte například X a Y a jejich pořadí promíchejte. Hodnotitel tak při posuzování neví, které nastavení vytvořilo který výstup. Zaznamenejte si zvlášť přiřazení X a Y k A a B, abyste je mohli vyhodnotit po dokončení hodnocení.
4. Dvojí hodnocení: Nejprve ověřte správnost každého výstupu proti podkladům. Jednotlivá ověřitelná tvrzení označte jako podložená, chybná nebo neověřená. Poté samostatně posuďte rozmanitost a použitelnost: přinesla odlišná formulace novou variantu, nebo pouze přeformulovala stejný obsah? Zapište také, zda se objevila nová chyba.
5. Vyhodnocení: Po dokončení slepého hodnocení odhalte, které výstupy patří k nastavení A a B. Porovnejte body správnosti pro jednotlivá zadání a připojte slovní závěr o rozmanitosti. Odpovědná osoba stanoví, které nastavení dává smysl pro daný typ úlohy a zda výstup vyžaduje opravu.

Při práci s vloženými dokumenty považujte jejich obsah za data, nikoli automaticky za pokyny. Text třetí strany, který žádá například ignorování pravidel nebo změnu úkolu, vyhodnoťte jako riziko manipulace vstupu, nikoli jako pokyn k provedení (OWASP, „Prevence prompt injection pro LLM“).

Syntetický příklad a jeho rozbor

Všechny údaje i skóre v následujícím příkladu jsou syntetické; nejde o výsledek skutečného měření. Zadání zní: „Napište tři varianty krátké odpovědi zákazníkovi, že dodávka přijde ve dvou částech. Každá varianta má nejvýše čtyřicet slov a nesmí obsahovat omluvné fráze.“ Podkladem je pouze informace, že dodávka bude rozdělena do dvou částí; datum doručení ani pořadí částí podklad neurčuje.

Výstup X obsahuje tři varianty v požadovaném rozsahu. Dvakrát se opakuje věta o druhé části zásilky, ale informace o rozdělení dodávky odpovídá podkladu. Výstup Y nabízí formulačně odlišnější varianty. Jedna přidává konkrétní den doručení, který podklad neuvádí, a další mění pořadí částí.

V tomto syntetickém příkladu získá X za správnost skóre 2, 2 a 2: tvrzení ve všech třech variantách odpovídají podkladu. Rozmanitost je nízká, protože se formulace opakují. Y získá za správnost skóre 0 u varianty s vymyšleným dnem. Jeho rozmanitost je vyšší, ale přidané tvrzení činí výstup bez opravy nepoužitelným. Pro tento typ odpovědi by odpovědná osoba mohla dát přednost X a další formulaci upravit vlastní editací. Skóre v příkladu pouze ukazuje způsob zápisu; neurčuje obecné pravidlo pro jiné úlohy.

Kdy výstup nepřebírat

Výstup nepřebírejte bez další kontroly, pokud obsahuje tvrzení, které nelze dohledat v podkladu, například datum, množství, jméno nebo technický parametr. Odlišnější formulace takové doplnění neospravedlňuje. Zapište, které tvrzení nelze ověřit, a požádejte odpovědnou osobu o kontrolu nebo opravu.

Zpozorněte také tehdy, když se výstupy věcně liší, přestože se měla měnit pouze formulace, nebo když vyšší rozmanitost znamená jen synonyma a delší věty bez nové použitelné varianty. V takovém případě zaznamenejte, v čem rozdíl spočívá, a nevyvozujte z něj automaticky důvod ke změně nastavení.

Pokud zadání nebo vložený dokument obsahuje pokyn třetí strany, například požadavek na ignorování pravidel, běh vyřaďte a připravte očištěné zadání. Při neúplných podkladech nebo citlivých datech závěr nezevšeobecňujte; citlivé údaje nahraďte neutrálními zástupci a podklady doplňte, pokud je to možné. Při zavádění porovnání pro tým navazuje také postup pro zabezpečení práce s AI: jak zabezpečit AI ve firmě. K ověřování jednotlivých tvrzení slouží jak ověřit odpověď AI; pro rozhodnutí, jaká data vložit do zadání, využijte matice dat pro vkládání do AI.

Jestliže odpovědná osoba výstup neschválí, zaznamenejte důvod a ponechte dosavadní nastavení pro daný typ úlohy, dokud nebude k dispozici nový výsledek posouzení. Záznam doplňte o typ úlohy, použité podklady a poznámku, zda je případné opakování porovnání vhodné. Tím zůstane zřejmé, k čemu se závěr vztahuje, aniž by se vydával za obecné pravidlo pro všechny výstupy nebo nástroje.