V kostce:

  • Děti se naučí jazyk z 100 až 300 milionů slov, modely potřebují 15 bilionů tokenů.
  • Llama 3.1 zpracovala při předtrénování 15 bilionů tokenů.
  • Internetová data pro trénování mohou vyčerpat už v 30. letech 21. století.

Lidské dítě se naučí mateřský jazyk z pouhých 100 až 300 milionů slov, zatímco současné velké jazykové modely k dosažení podobné úrovně vyžadují 15 bilionů tokenů · tedy tisíckrát více dat. Tento rozdíl, který odborníci označují jako mezera v efektivitě dat, dokumentuje studie publikovaná v MIT Technology Review.

Lidé spolu komunikují již alespoň 100 000 let a po celou tuto dobu bylo lidské dítě jedinou entitou schopnou naučit se lidský jazyk k dokonalé plynulosti. Dnes jich jsou dvě. Čtyři roky po vydání ChatGPT už mnohé z nás považují za samozřejmé, že můžeme přirozeně konverzovat s telefony nebo počítači. Modely jako Claude, DeepSeek nebo GPT jsou dostatečně plynulé a flexibilní, aby přesvědčivě napodobovaly lidi. Podíváme‑li se však za výpočetní záclonu, narazíme na háček: naučit počítač používat lidský jazyk stále vyžaduje nelidské množství dat. LLM snadno projde sto tisíckrát více slov než člověk zažije při ovládání mateřštiny · a daleko více než děti uslyší k prvním narozeninám, kdy obvykle začínají jazyk ovládat.

Michael C. Frank, kognitivní vědec ze Stanfordské univerzity, uvádí, že ačkoliv pokrok LLM za poslední roky byl úžasný, stále musíme „spálit les a posbírat celý součet lidských znalostí“, abychom dosáhli milníku, který se v obývacích pokojích odehrává za rok. Ethan Gotlieb Wilcox z Georgetownské univerzity dodává, že hraniční modely mohou být předtrénovány na desetinásobném množství dat, ale snadno dostupné internetové zdroje by mohly být vyčerpány už v 30. letech 21. století.

Příkladem měřítka je srovnání: pokud by se slova použitá k trénování moderního LLM vytiskla na papír, hromada by dosáhla nad Mezinárodní vesmírnou stanici. Stejně velká hromada pro dítě ve věku před pubertou by byla vysoká pouhých 20 metrů. Děti navíc dokážou jazyk ovládnout s daleko menším vstupem než je tento odhad. Dítě vychované v jazykově bohaté rodině uslyší někde kolem 100 milionů slov. Přidáme‑li gramotnost, počet slov do 20 let stoupne na možných 300 milionů.

Obráceným inženýrstvím dětského učení se vědci snaží vytvořit modely efektivnější v používání dat. Takové modely by mohly sloužit k trénování AI na videu, kde je objem dat obrovský, ale také k vývoji chatbotů pro menšinové jazykové komunity, pro které není k dispozici dostatek trénovacích textů. Paralelně by testování hypotéz o lidském učení na strojových modelech mohlo vyřešit dlouholeté otázky kognitivních věd: zda máme vrozený jazykový instinct, nebo zda je jazyk čistě produktem zkušeností, a zda je náš způsob zpracování jazyka biologická specifikum či odraz univerzálních omezení.

Co to znamená: Pro firmy implementující AI znamená tato mezera, že současné modely jsou extrémně náročné na data i výpočetní výkon. Pokud se podaří přenést principy dětského učení do architektur modelů, otevře se cesta k efektivnějším systémům pro specializované domény, nízkodotázkové jazyky a multimodální aplikace · klíčové pro udržitelnou a přístupnou implementaci AI.

Zdroje: