Jediná otázka, která rozhoduje
Většina výkladů začne u toho, co model umí. To je ale až důsledek. Rozhodující je, co jste modelu dali do dat.
Když je u každého příkladu přiložená správná odpověď, mluvíme o učení s učitelem. Tisíc e-mailů, u každého poznámka „spam“ nebo „není spam“. Model se učí tu poznámku uhodnout dřív, než ji uvidí.
Když v datech žádná správná odpověď není, jde o učení bez učitele. Máte deset tisíc zákazníků a chcete vědět, jestli se dělí do skupin. Nikdo předem neřekl, kolik těch skupin je ani jak vypadají. Model najde strukturu, ale co ta struktura znamená, musí pojmenovat člověk.
A když správná odpověď předem neexistuje, protože závisí na tom, co model udělá, jde o posilované učení. Model něco zkusí, dostane odměnu nebo trest a příště to zkusí jinak.
Proč se to plete
Pletou se dvě věci: obor a cíl.
Obor neříká nic. Detekce podvodů může být kterákoli ze tří kategorií podle toho, jestli máte označenou historii, jestli hledáte odchylku od normálu, nebo jestli učíte systém reagovat na útočníka, který se přizpůsobuje.
Cíl také nic neříká. „Chceme předpovídat odchod zákazníků“ zní jednoznačně, ale dokud nevíte, jestli máte v datech zaznamenané, kdo skutečně odešel, nevíte, kterou úlohu vlastně řešíte.
Proto se v této hře objevují scénáře se slovy, která táhnou do špatné kategorie. Zmínka o podvodu svádí na hledání anomálií, ale když jsou v datech historické štítky, je to učení s učitelem, a nic na tom slovo „podvod“ nemění.
Co z toho plyne pro rozpočet
Rozdíl mezi kategoriemi je hlavně rozdíl v tom, co musíte dodat.
Učení s učitelem potřebuje označená data. To je ruční práce, obvykle nejdražší a nejpodceňovanější položka celého projektu. Kdo tvrdí, že označení dat je detail, buď má data už označená, nebo projekt ještě nedělal.
Učení bez učitele označení nepotřebuje, což zní levněji. Jeho výstup je ale popis, ne rozhodnutí. „Tady jsou čtyři skupiny zákazníků“ je zajímavé teprve tehdy, když někdo řekne, co s tím.
Posilované učení potřebuje prostředí, ve kterém se smí model mýlit, aniž by to někoho stálo peníze nebo zdraví. Pokud takové prostředí nejde postavit, nejde tuhle cestu použít, bez ohledu na to, jak dobře by se hodila.
Kam patří velké jazykové modely
Do žádné z těch tří škatulek čistě, a je poctivé to říct rovnou.
Základní trénink jazykového modelu je samoučení. Model dostane obrovské množství textu a učí se předpovídat další slovo. Štítek si vyrábí sám z textu, protože správná odpověď je prostě to slovo, které v původním textu následovalo. Formálně je to učení s učitelem, jen ten učitel není člověk, ale samotná data.
Doladění podle lidských preferencí je pak posilované učení. Lidé porovnávají dvojice odpovědí, z jejich hodnocení vznikne model odměny a podle něj se hlavní model dolaďuje. Odpověď se tedy nezlepšuje podle předem daného vzoru, ale podle zpětné vazby na to, co model sám vyprodukoval.
Pro praxi z toho plyne jedna věc: otázka „jakým druhem učení je natrénovaný ChatGPT“ nemá jednu odpověď. Užitečnější otázka zní, co s ním chcete dělat vy a jaká data k tomu máte. Tam se tři kategorie z této hry vrací zpátky ke slovu.
Jak si to ověřit na vlastním zadání
Než se rozhodnete pro dodavatele nebo nástroj, projděte si tři otázky v tomto pořadí.
Za prvé: existuje u vašich dat správná odpověď a je zaznamenaná? Ne „dala by se doplnit“, ale je tam dnes. Pokud ano, jde o učení s učitelem a hlavní položkou rozpočtu bude kvalita těch štítků, ne model.
Za druhé: pokud správná odpověď zaznamenaná není, dá se doplnit rozumným nákladem? Tisíc příkladů označí jeden člověk za pár dní, sto tisíc už ne. Když se doplnit nedá, zbývá učení bez učitele a s ním i to, že výstupem bude popis, kterému musí dát význam člověk.
Za třetí: existuje prostředí, ve kterém se systém smí mýlit bez následků? Bez něj posilované učení nepřipadá v úvahu, ať se hodí sebevíc.
Tři odpovědi, tři kategorie. Přesně ty, které tahle hra trénuje rozeznat na scénářích, kde se slova snaží táhnout jinam než data.