Ai2 ToyBlocks: nyílt robotikai tanulási világ

Mi változott?

Az Allen Institute for AI (Ai2) elindította a FoundationWorlds programot: kontrollált szimulációs világokat robotikai kutatáshoz, automatikus feladat- és demógenerálással, illetve mérőszámokkal. Az első világ a ToyBlocks: robotkar és asztali kockák betűkkel, illetve képekkel az oldalaikon, nyílt szimulációs keretrendszerben.

Automatikus demók és VLA-tesztek

A rendszer teleoperáció nélkül generál demonstrációkat. Isaac Labben RL, motion planning és TAMP kombinációval dolgozik, egy GPU-n akár 24-szeres valós idejű sebességgel. A kutatók VLA modellek térbeli általánosítását vizsgálták (ManiFlow, π0.5, MolmoAct 2). Az első eredmények gyenge generalizációt mutatnak, a keretrendszer viszont pont azt teszi lehetővé, hogy a technikákat célzottan javítsák.

Hierarchia, agentek és világmodellek

A hosszú horizontú feladatoknál a Molmo 2 a magas szintű tervezést, a ManiFlow az alacsony szintű mozgást adja, például betűk kirakásánál. Claude-dal összekötött MCP eszközökkel a search-and-spell feladat megoldási vagy helyesen lehetetlenként jelölt aránya körülbelül 63 százalék. Az agent által írt skill-leírások a sikerarányt 24-ről 63 százalékra emelték.

Világmodelleknél a Wan 2.2 szerepelt a legjobban pose- és siker-előrejelzésben. Száz modell-rollouttal a policy sikeraránya egy nem látott régióban 19-ről 78 százalékra nőtt.

Sim-to-real és a kiadás

Zero-shot sim-to-real mérések Franka FR3 karon: a ManiFlow skillek körülbelül 80, illetve 81,1 százalékot értek el szimulációban és valóságban. A Molmo 2 plusz ManiFlow 55,5 százalékot hozott szimulációban (111/200), a valóságban 50 százalékot (15/30).

Megjelentek az assetek, generátorok, demók, két betanított modell, illetve a tanító és kiértékelő kód. Az első adag 85 336 hosszú horizontú demó (kb. 6-12 skill demónként), körülbelül 1600 óra és 144 millió frame. Nagyobb kiadás néhány héten belül jön.