Robot Dyna-2.1 skládá ubrousky s úspěšností 99,4 %

V kostce

• Dyna-2 trénován na více než milion hodin lidského videa
• Robot skládal ubrousky 24 hodin s úspěšností 99,4 %
• Nový úkol se naučí ze 45 minut demonstrací

Společnost Dyna Robotics představila fyzického robotického agenta Dyna-2.1, který má zvládat hodinovou autonomii v reálném provozu. Spoluzakladatel a vědecký ředitel Jason Ma na přednášce na AIE v New Yorku ukázal, že robot dokázal 24 hodin nepřetržitě skládat restaurační ubrousky s úspěšností 99,4 %, a to včetně zotavení po stržení celého stohu. Údaj o výkonu je tvrzením dodavatele, které přebírá rozhovor na serveru Latent Space.

Agent je postaven na world-action modelu Dyna-2, který byl podle Latent Space předtrénován na více než milion hodin lidského videa. Společnost u modelu popisuje škálovací zákony přenosu dat od člověka k robotu napříč čtyřmi řády velikosti. Model kombinuje predikci budoucího videa s výstupem akcí, které může robot přímo vykonat ve fyzickém světě.

Základní myšlenkou architektury je, že model nejprve předpovídá budoucí stav světa a tuto predikci využívá k řízení akcí. Podle Jasona Ma je to analogie řetězce myšlenek, kdy model uvažuje ve vizuálním a fyzikálním prostoru a teprve poté vydává povely. Takový postup má podle něj vést k obratnějšímu a robustnějšímu chování a lepší generalizaci na prostředí, která model dosud neviděl.

Pod kapotou modelu Dyna-2 je podle zdroje difúzní transformátor s architekturou kodéru. Difúzní přístup má převádět náhodný šum iterativním výpočtem do vysoce dimenzionálního a jemně definovaného výstupu, což se osvědčilo při generování obrazu a videa i při generování akcí z obrazu. Pro řízení v reálném čase zdroj zmiňuje také flow-matching.

Vstupy modelu tvoří především video z kamer robota za uplynulé sekundy, dále úhly kloubů z enkodérů pohonů a jazyková instrukce pro zadání úkolu. Výstupem jsou akce proveditelné na hardwaru a zároveň budoucí video nebo jeho reprezentace, která akce usměrňuje. Robot se má podle prezentace naučit nový úkol již ze 45 minut demonstrací.

Důraz na dlouhý horizont souvisí s takzvanými agentními postroji, které umožňují vykonávat vícefázové pracovní postupy v řádu hodin. Právě spolehlivou dlouhodobou autonomii označil Jason Ma za hlavní výzvu robotiky v reálném světě. K posunu od ukázek k nasazení patří i schopnost zotavit se z chyby bez zásahu člověka, kterou firma demonstrovala na rozsypaném stohu ubrousků.

Společnost staví vlastní hardware místo hotových humanoidů a zvolila kolový semi-humanoidní robot. Podle Jasona Ma firma potřebuje inferenci přímo v zařízení, destilaci modelu a vlastní hardware. Za přetrvávající úzká hrdla označil obratné ruce, které se přehřívají, a chybějící senzorická data, přičemž samotné vidění podle něj nemusí stačit.

Model Dyna-2.1 již podle zdroje pracuje v reálných provozech, kde roboti denně skládají tisíce ubrousků. Uvedenými příklady jsou restaurace Din Tai Fung a hotel Best Western. Jason Ma v rozhovoru rozlišil mezi pilotními projekty a škálovaným nasazením a hovořil o rozdílu mezi skutečným komerčním provozem a krátkodobými demonstracemi.

Součástí rozhovoru je i téma syntetických prostředí, simulace a dat generovaných samotnými modely, které by mohly řešit nedostatek dat pro robotiku. V této souvislosti zazněla i role agentů pro programování a generativních prostředí pro výzkum. Jason Ma dříve pracoval na projektech AlphaGo a Eureka a působil na Pennu, ve společnostech NVIDIA a Google DeepMind a nyní je spoluzakladatelem společnosti Dyna Robotics.

Zdroje

1. Latent Spacelatent.space