V kostce:

  • Tým vedli Peter Kirgis a Sayash Kapoor z Princeton University.
  • Agenti měli šest dní, 3 000 dolarů v kreditech Anthropic API a GPU rozpočet.
  • Původní autoři obě předložené práce agentů odmítli jako nepublikovatelné.

Tým výzkumníků z více institucí vedený Peterem Kirgisem a Sayashem Kapoorem z Princeton University zjistil, že současní AI agenti zatím nedokážou samostatně provádět otevřený výzkum na úrovni, jakou vyžadují prestižní konference strojového učení. Agenti podle studie zvládnou vyřešit inženýrské úlohy spojené s AI výzkumem, chybí jim ale úsudek a kreativita potřebné k vytvoření originální práce srovnatelné s texty přijímanými na špičkových konferencích.

Výzkumníci navrhli metodu hodnocení nazvanou „shadow evaluation“ (stínové hodnocení), při níž má AI zodpovědět výzkumnou otázku z kvalitní, dosud nepublikované práce. Modelu Claude Opus 4.8 od Anthropicu, běžícímu na open-source softwaru OpenClaw, zadali dvě otázky z prací předložených na konferenci NeurIPS 2026. Protože práce nebyly veřejně dostupné, agenti nemohli odpovědi znát z trénovacích dat ani je dohledat online.

První otázka se týkala toho, zda lze „persony“ velkého jazykového modelu, které určují jeho chování, ovládat úpravou vah modelu. Druhá se týkala návrhu detektoru, jenž upozorní, když se model predikující na základě tabulkových dat stane nespolehlivým. Agenti dostali na práci šest dní, rozpočet 3 000 dolarů v kreditech Anthropic API, přístup k výpočetní kapacitě GPU, vlastní virtuální počítače a přístup na otevřený web.

Původní autoři obou prací hodnotili výsledné texty agentů stejně, jako by posuzovali příspěvek zaslaný na konferenci, a oba je odmítli. Agenti podle vědců, kteří studii vedli, zvládli veškerou inženýrskou práci spojenou s výzkumem · prošli literaturu, spustili stovky experimentů a shrnuli výsledky. „Na druhou stranu byli agenti jednoznačně špatní v samotném provádění výzkumu,“ uvedl Kapoor. Prováděli podle něj podivné experimenty, mimo jiné testovali hypotézy na malých syntetických datových souborech, měli potíže srozumitelně popsat svou práci a nepřinesli oboru žádný nový poznatek.

Agentům podle studie chyběla kreativita a úsudek potřebné pro výzkum. Nedostatečně zkoumali odlišné myšlenky a příliš rychle se upnuli na neperspektivní přístupy. Ačkoli formulovali ambiciózní hypotézy podobné těm, od kterých vycházeli původní autoři, zavrhovali je na základě velmi omezených dat a nedokázali se od neúspěšných postupů odklonit · zvládli jen drobné úpravy, nikoli zásadní přehodnocení metody. Agenti také neuměli efektivně využívat zdroje, jako jsou tokeny, výpočetní kapacita a čas, a měli problém dodržovat pokyny ohledně časového rozvržení jednotlivých fází výzkumu.

Za neúspěchem stojí podle Kapoora pravděpodobně způsob trénování modelů: v posilovaném učení se snáze trénují úlohy, jejichž úspěch lze automaticky ověřit, zatímco pro otevřené úlohy je vytvoření takového tréninkového prostředí obtížnější. Tým podle Kapoora nyní provádí stejný experiment s modelem Mythos, nejpokročilejším modelem Anthropicu představeným v dubnu, který je kvůli bezpečnostním omezením zavedeným Trumpovou administrativou dostupný pouze schváleným organizacím. Anthropic na žádost o vyjádření nereagoval.

Studie má podle autorů určitá omezení · pokrývá jen dvě výzkumné práce, původní autoři věděli, že hodnotí texty vytvořené AI, a výzkumníci měli při návrhu i provedení studie značnou volnost, takže se do výsledků mohla promítnout jejich vlastní přesvědčení. Přesto výsledky podle všeho odpovídají tomu, co interně zjišťují i samotné AI společnosti. Spoluzakladatel Anthropicu Jack Clark v newsletteru Import AI napsal, že dnešním AI systémům chybí hodnotná intuitivní kreativita a že přes výjimečné inženýrské schopnosti vykazují spíše mechanické, šablonovité myšlení, což označil za pesimistický signál pro krátké časové horizonty rekurzivního sebezdokonalování AI.

Co to znamená: Pro firmy auditující nasazení AI výsledek naznačuje, že autonomní AI agenty zatím nelze považovat za spolehlivý nástroj pro samostatný výzkum či vývoj bez lidského dohledu, byť dobře zvládají strukturované inženýrské úkoly. Při zavádění AI do výzkumných a vývojových procesů je proto namístě zachovat lidskou kontrolu nad úsudkem, volbou hypotéz a hodnocením výsledků, nikoli spoléhat na plnou automatizaci.

Zdroje: