Proč si AI vymýšlí
Halucinace AI není porucha, kterou by šlo prostě opravit v příští verzi. Jazykový model počítá pravděpodobnostně, slovo po slově odhaduje nejpravděpodobnější pokračování věty. Když model odpověď skutečně zná, tenhle mechanismus funguje dobře. Když ji nezná, funguje úplně stejně: model dál skládá nejpravděpodobnější pokračování, jen tentokrát z ničeho.
Podle výzkumu, který v roce 2025 zveřejnila přímo OpenAI, k tomu navíc svádí způsob, jakým se modely trénují a testují. Když se model u testovací otázky netrefí do faktu, ale řekne aspoň něco, má šanci uhodnout. Když řekne, že neví, šanci na bod nemá jistě žádnou. V součtu přes tisíce testovacích otázek proto model, který hádá, vychází v žebříčcích líp než model, který se přiznává k nejistotě. Vlastnost, která čtenáři připadá jako chyba, je z pohledu trénovacích metrik odměňované chování.
Pro člověka, který odpověď dál používá, to znamená jednu praktickou věc: sebejistý tón v odpovědi nic nevypovídá o tom, jestli model danou informaci opravdu zná, nebo jen doplňuje mezeru nejpravděpodobnějším odhadem. Rozdíl mezi oběma případy navenek vůbec vidět není.
Proč plynulost zní jako jistota
Věta se správnou gramatikou a jistou stavbou automaticky působí důvěryhodně, i když věcně nesedí. Lidský mozek si zvykl, že koktání, odmlky a nejistota v hlase signalizují nejistý obsah. Jazykový model se ale nezadrhává, ani když si vymýšlí. Vymyšlené jméno, vymyšlený rok nebo vymyšlené číslo dostane úplně stejnou plynulou větu jako fakt, který model skutečně zná. Signál, na který se čtenář běžně spoléhá, tady chybí. Proto je halucinace AI těžší odhalit než chybu člověka, který zaváhá nebo se opraví, a proto stojí za to ověřovat i odpovědi, které samy o sobě znějí naprosto jistě.
Která tvrzení se pletou nejčastěji
Ne každá věta nese stejné riziko. Napříč běžnými odpověďmi jazykových modelů se nejčastěji plete pár konkrétních typů tvrzení.
Data a roky. Model si často pamatuje, že se něco stalo přibližně v určité době, ale konkrétní rok si domýšlí. Posun o pár let je nejběžnější chyba, a zároveň nejhůř odhalitelná, protože zbytek věty většinou sedí a nic v ní nepůsobí podezřele.
Autorství a citace. Model rád přiřadí výrok, objev nebo dílo osobě, která je v daném oboru skutečně známá, jen ne zrovna za tenhle konkrétní výsledek. Jméno je pravé, spojení s konkrétní prací je vymyšlené, a právě proto zní věrohodně.
Čísla a statistiky. Konkrétní číslo v odpovědi působí jako důkaz, že si ho model někde ověřil. Ve skutečnosti může jít o odhad, který se jen tváří jako přesná statistika, protože přesné číslo čtenáře uklidňuje víc než přiznaný odhad.
Doslovné citace. Když model cituje přesné znění zákona, smlouvy nebo výroku, věta často zní autoritativně. Samotné doslovné znění ale model dost často rekonstruuje z paměti nepřesně, formulace bývá blízká originálu, ne totožná.
Jak rychle ověřit odpověď AI
Ověřování nemusí trvat déle než sama odpověď. Funguje jednoduché pravidlo: čím konkrétnější tvrzení, tím větší riziko chyby, a tím dřív se vyplatí sáhnout po druhém zdroji.
U roku, čísla nebo jména stačí jeden rychlý dotaz do vyhledávače, nebo pohled do primárního zdroje, na který se model odvolává, pokud vůbec nějaký uvedl. Neuvedený zdroj je sám o sobě varovný signál. U doslovné citace pomůže vyhledat přesnou frázi v uvozovkách: model si zpravidla vymyslí formulaci blízkou originálu, ne totožnou, a rozdíl se ukáže hned. A u tvrzení, které zní jako obecně známý fakt, ale hraje klíčovou roli v rozhodnutí, se vyplatí ověřit i to, co by čtenář jinak nechal bez povšimnutí.
Míra ověřování se má odvíjet od toho, co s odpovědí uděláte dál. Odpověď na rychlou soukromou zvědavost nestojí za dlouhé pátrání. Odpověď, která se promítne do zprávy pro klienta, smlouvy nebo veřejného vyjádření, si ověření zaslouží pokaždé, i když zní naprosto samozřejmě. Právě tahle tvrzení, ta na první pohled nejméně podezřelá, bývají v praxi nejdráž zaplacená, když se nakonec ukážou jako vymyšlená.
Přesně tenhle reflex, čtení pod tlakem a hledání konkrétního místa, kde se odpověď odchýlila od pravdy, trénuje hra výš. Text ve hře teče stejným tempem jako odpověď modelu. Nepravda se neobjeví na předvídatelném místě, protože v reálné odpovědi AI taky žádné předvídatelné místo nemá.