Proč plynulé shrnutí kampaně není totéž co ověřený závěr
Asistent dostane čísla ze dvou období a otázku, jak kampaň dopadla. Odpověď napíše jako souvislou větu s příčinou, protože o příčinu žádal zadaný dotaz, i když k tomu podklady samy o sobě neopravňují. Shoda dvou čísel v čase se tak snadno stane tvrzením o účinku kampaně, aniž by kdokoli ověřil, že jiné vysvětlení je vyloučené.
Dotazník níže tuto mezeru uzavírá. Prochází pět bloků otázek, které tým zodpoví na vlastních datech dřív, než se shrnutí od asistenta zapíše do přehledu pro vedení jako hotové zjištění.
Jak dotazník použít
Dotazník se vyplňuje po skončení kampaně, jako zpětná kontrola výsledku. Ke každé otázce je uvedeno, jak vypadá uspokojivá odpověď a co taková odpověď vyloučí, tedy jaké alternativní vysvětlení už po zodpovězení otázky nepřichází v úvahu. Prázdné pole nebo odpověď typu nevíme není důvod k domýšlení; je to signál, že se má daný blok dokončit dřív, než se pokračuje dál. Podobně to řeší článek o měření dopadu školení AI.
Blok 1: rozhodnutí, které má vyhodnocení podpořit
Bez jmenovaného rozhodnutí nemá vyhodnocení kritérium přesnosti.
| Otázka | Uspokojivá odpověď | Co vyloučí |
|---|---|---|
| Jaké rozhodnutí bude vyhodnocení podporovat a kdo ho udělá? | Tým jmenuje konkrétní krok (opakovat kampaň, přesunout rozpočet, změnit kreativu, zastavit kanál) a osobu, která ho schválí. | Vyhodnocení bez návaznosti na krok, u kterého není jasné, jak přesná odpověď má být. |
| Co by v datech muselo vypadat jinak, aby se rozhodnutí obrátilo? | Tým popíše konkrétní práh nebo směr, například jiný kanál nebo jiné publikum, který by výsledek změnil. | Rozhodnutí, které je předem dané bez ohledu na výsledek vyhodnocení. |
Blok 2: integrita měření
Dřív než se čísla srovnávají, musí být jasné, že měří totéž stejným způsobem na obou stranách.
| Otázka | Uspokojivá odpověď | Co vyloučí |
|---|---|---|
| Je měřicí okno na obou stranách srovnání stejně dlouhé a srovnatelné? | Tým uvede přesné datum začátku a konce obou období a potvrdí stejný počet víkendů a svátků. | Rozdíl v součtech způsobený jen odlišnou délkou nebo skladbou období. |
| Změnilo se sledování konverzí (značky, kód, definice konverze) v průběhu kampaně? | Tým má datum každé změny sledování a ví, které číslo změna ovlivnila. | Skok v datech způsobený technickou úpravou sledování, který chování publika samo o sobě nevysvětluje. |
| Je někde stejná konverze započítaná ve dvou kanálech zároveň? | Součet konverzí podle kanálu odpovídá celkovému počtu konverzí, nepřevyšuje ho. | Zdánlivě vyšší výkon, který je jen dvojím započítáním jedné akce. |
| Podle jakého pravidla se konverze přiřazuje kanálu? | Pravidlo, například poslední klik, první klik nebo lineární rozdělení, je popsatelné jednou větou a stejné v obou obdobích. | Rozdíl vzniklý jen změnou pravidla přiřazení mezi obdobími. |
Blok 3: co jiného se ve stejném období dělo
Kampaň neběží v izolaci; cokoli dalšího ve stejném okně je konkurenční vysvětlení výsledku.
| Otázka | Uspokojivá odpověď | Co vyloučí |
|---|---|---|
| Udělal ve stejném období konkurent něco s cenou, akcí nebo novým produktem? | Tým jmenuje konkrétní krok konkurence a porovná jeho načasování se změnou čísel. | Připsání celého rozdílu kampani, když ve stejném týdnu působil vnější faktor. |
| Změnila se v tomto období cena, sortiment nebo dostupnost skladem? | Tým potvrdí, že cena a dostupnost byly po celé sledované období beze změny, nebo popíše přesně kdy a jak se změnily. | Nárůst objednávek vysvětlený kampaní, i když ho způsobila cenová akce. |
| Odpovídá výsledek sezónnímu vzorci, který firma zná z minulých let? | Tým porovná aktuální číslo se stejným obdobím loňského roku, aby zachytil sezónní vzorec, který krátké srovnání neukáže. | Sezónní nárůst poptávky vydávaný za účinek kampaně. |
| Proběhla ve sledovaném období veřejná událost, která mohla zvýšit zájem o téma? | Tým zvažuje mediální zprávu nebo jinou veřejnou událost a její časovou shodu s výsledkem. | Zájem způsobený vnější událostí, který kampaň jen zachytila. |
Blok 4: co je ve shrnutí asistenta ověřené a co domyšlené
Plynulost je vlastnost jazyka. Sama o sobě nic nedokazuje. Model dokáže napsat přesvědčivou větu o příčině i tehdy, když mu podklady dovolují jen popsat shodu v čase. NIST tento jev u generativních modelů řadí mezi rizika, s nimiž je potřeba při hodnocení výstupu aktivně počítat. Vysvětlení mechanismu je v článku Proč si AI vymyslí halucinace?.
| Otázka | Uspokojivá odpověď | Co vyloučí |
|---|---|---|
| Ke které větě ve shrnutí existuje konkrétní číslo, které tým dohledá ve zdrojových datech? | Vedle věty je uveden zdroj: přehled, export nebo datum stažení dat. | Přijetí věty jen proto, že zní sebejistě a formálně správně. |
| Která věta vysvětluje příčinu a která jen popisuje, co se stalo? | Tým takové věty označí zvlášť a projde je znovu proti bloku 3. | Příčinné tvrzení, které vzniklo hlavně proto, že se na příčinu ptal zadaný dotaz. |
| Změnil by se závěr, kdyby se stejná data zadala znovu s neutrálním zadáním bez naznačené příčiny? | Tým otázku jednou přeformuluje bez naznačené odpovědi a porovná výstup. | Závěr, jehož jediným zdrojem je formulace dotazu. |
| Obsahuje shrnutí detail, který žádný z podkladových zdrojů přímo neuvádí? | Tým takový detail buď dohledá ve zdrojích, nebo ho ze shrnutí odstraní. | Podrobnost, kterou model doplnil, aby odpověď zněla úplněji. |
Blok 5: čestná formulace zjištění
Zjištění, které projde bloky 1 až 4, se ještě musí správně zapsat. Popisná věta a příčinná věta se často liší jedním slovem, a právě to slovo rozhoduje, jestli tvrzení odpovídá tomu, co bylo ověřeno.
| Otázka | Uspokojivá odpověď | Co vyloučí |
|---|---|---|
| Zůstane věta pravdivá, pokud se z ní odstraní slovo protože, díky nebo vedlo k? | Ano, věta popisuje pozorovanou změnu bez tvrzení o příčině. | Skrytou kauzalitu uvnitř formulace, která se tváří jako popis. |
| Je u zjištění uvedena alespoň jedna nevyloučená alternativa z bloku 3? | Věta obsahuje formulaci typu „současně platilo, že…“, která pojmenovává to, co se nepodařilo vyloučit. | Tvrzení prezentované jako jisté tam, kde jistota není doložená. |
| Je ilustrační číslo ve výstupu jasně označené jako ukázkové? | Pokud text obsahuje číslo pro ilustraci postupu, stojí u něj poznámka, že číslo je ukázkové a neodpovídá žádné naměřené hodnotě. | Záměnu ilustračního čísla za skutečný výsledek kampaně. |
Popisná formulace může znít takto: počet objednávek byl ve sledovaném období vyšší než v předchozím srovnatelném období (ilustrační vyjádření pro demonstraci postupu), přičemž cena, dostupnost skladem a sledování konverzí zůstaly beze změny. Příčinná formulace by zněla: kampaň zvýšila počet objednávek. Rozdíl mezi oběma větami je přesně to, co dotazník testuje.
Kdy je správná odpověď „data na tuto otázku neodpovídají“
Pokud platí alespoň dvě z těchto podmínek zároveň, není namístě zapisovat žádný příčinný závěr, ani opatrně formulovaný:
- měřicí okno nejde zpětně srovnat na stejnou délku a skladbu dnů;
- sledování konverzí se během kampaně změnilo způsobem, který nelze od výsledku oddělit;
- ve stejném období proběhla jiná změna se srovnatelně velkým očekávaným dopadem (cena, sklad, konkurence, sezónnost), kterou nejde izolovat;
- objem dat je natolik malý, že pozorovaný rozdíl může být jen běžné kolísání.
V takovém případě je věta „data na tuto otázku neodpovídají“ přesnější než jakýkoli odhad, o kolik kampaň pomohla.
Osobní údaje v datech o kampani
Kampaňová a zákaznická data obvykle obsahují osobní údaje: e-mailové adresy, telefonní čísla, identifikátory zařízení nebo záznamy o chování jednotlivých uživatelů. Nařízení (EU) 2016/679 stanovuje zásady zpracování včetně účelového omezení a zabezpečení údajů, konkrétně v článcích 5, 6 a 32. Tento dotazník neposuzuje, zda konkrétní zpracování těmto zásadám vyhovuje. Posouzení účelu, právního základu a doby uchování dat patří pověřenci pro ochranu osobních údajů nebo právníkovi firmy. Podrobněji otázku zpracování osobních údajů pomocí AI nástrojů řeší tento článek.
Pokud chce tým dotazník nacvičit na vlastních přehledech kampaní a naučit se rozpoznávat domyšlené věty v praxi, nabízí CIAD školení AI pro firmy zaměřené na práci s daty a ověřování tvrzení.
Stav zdrojů a omezení
Tři externí zdroje byly ověřeny 5. 8. 2026: rámec NIST AI RMF, profil NIST AI 600-1 pro generativní modely a nařízení GDPR. Dotazník je metodické doporučení CIAD. Není to certifikovaný nástroj měření ani záruka, že jeho vyplnění vyloučí každou chybu v úsudku. Ilustrační formulace čísel v textu jsou označené jako ukázkové a nepředstavují výsledek žádné konkrétní kampaně. Posouzení osobních údajů v kampaňových datech a jakýkoli závěr o právním souladu zpracování patří pověřenci pro ochranu osobních údajů nebo právníkovi firmy. Tento text takové posouzení neprovádí.
Časté dotazy
Může AI sama rozhodnout, proč kampaň fungovala nebo nefungovala?
AI umí spolehlivě popsat, co se v datech mezi dvěma obdobími změnilo. Příčinu musí ověřit člověk, který zná kontext mimo samotná čísla, například sezónnost, cenu, konkurenci nebo technickou změnu měření. Dotazník v článku rozděluje tyto dvě role, aby se popis a domněnka o příčině nespojily do jedné věty.
Jak poznám, že shrnutí od AI obsahuje vymyšlený závěr místo pouhého popisu?
Věta je podezřelá, pokud tvrdí příčinu, tedy obsahuje slova jako protože, díky nebo vedlo k, a přitom v podkladových datech je jen časová shoda dvou čísel. Zkuste ze věty odstranit slovo popisující příčinu. Pokud věta zůstane pravdivá i bez něj, jde o interpretaci přidanou navíc k datům.
Co dělat, když srovnávaná období kampaně nemají stejnou délku?
Srovnání dvou období různé délky samo o sobě vytváří rozdíl v součtech, i kdyby se chování publika vůbec nezměnilo. Před závěrem je potřeba buď najít stejně dlouhá a srovnatelná období včetně stejného počtu víkendů a svátků, nebo čísla přepočítat na stejnou jednotku času a přepočet ve výstupu uvést.
Vztahují se na vyhodnocení kampaně pravidla o osobních údajích?
Kampaňová a zákaznická data obvykle obsahují osobní údaje, například e-maily, telefonní čísla nebo identifikátory chování jednotlivých uživatelů. Posouzení účelu zpracování, právního základu, doby uchování a případného profilování patří pověřenci pro ochranu osobních údajů nebo právníkovi. Tento článek takové posouzení sám neprovádí a právní soulad netvrdí.
Kdy je vhodnější napsat, že data kampaň nezodpoví, místo nejistého závěru?
Pokud platí alespoň dvě z těchto podmínek zároveň: měřicí okno nejde zpětně srovnat, sledování se během kampaně změnilo, ve stejném období proběhla jiná změna se srovnatelným očekávaným dopadem, nebo je objem dat tak malý, že rozdíl může být běžné kolísání. V takovém případě je věta data na tuto otázku neodpovídají přesnější než jakýkoli odhad.
ZDROJE A OVĚŘENÍ
revidováno Lukáš Dlouhý ·