Cosmos3-H-Dreams: valós idejű generatív műtétszimulátor

Mi történt?

Az NVIDIA október 20-án bemutatta a Cosmos3-H-Dreamst (Hugging Face blog). Ez egy generatív szimulátor: kap egy kezdőképet és a műszerek mozgatási parancsait, majd valós időben legenerálja, mi történik a hasüregben. A cég szerint ez az első valós idejű generatív műtétszimulátor, amelyet klinikai epehólyag-eltávolítás (cholecystectomia) felvételein tanítottak élő kinematikai vezérlésre.

Az előd, a Cosmos-H-Dreams még asztali varrási feladatokon tanult a dVRK kutatórobottal. Az új verzió már valódi műtétek videóiból és robotadataiból tanul, amelyeket a CMR Surgical Versius platformján rögzítettek.

Ami konkrétan új

• Alap: a 16 milliárd paraméteres Cosmos3-H-Embodied-Nano, amelyet az Open-H-Embodiment adathalmazon tanítottak elő.
• Vezérlés: 28 akciódimenzió, vagyis mindkét kar pozíciója és megfogója, energiavezérlés, illetve a joystick tengelyei és gombjai. Két műszert követ: bal oldalt Cadiere fogót, jobb oldalt monopoláris horgot.
• Tanítás: 832 x 480 pixeles videó, 10 Hz-en igazított akciókkal. A teacher modell előbb 24, majd 72 képkockányi jövőt tanul, ez 2,4, illetve 7,2 másodperc.
• Gyorsítás: Self-Forcing desztillációval kauzális student modell készül, amely blokkonként generál, ahogy az új parancsok beérkeznek. Két checkpoint jött ki, egy négy és egy két denoising lépéses, ami a képminőség és a sebesség közti választást adja.
• Futtatás: a FlashDreams streaming inference könyvtárral egyetlen NVIDIA RTX PRO 6000 GPU-n interaktív.

Miért fontos?

A klasszikus numerikus szimuláció explicit módon modellezi a geometriát és a szövetek deformációját, ami lassú és drága. A generatív megközelítés ezt a videóból és a robotadatokból tanulja meg. A hasüregben viszont minden apró mozdulat hat a jelenetre: nyúlik a szövet, változnak a tükröződések, takarásba kerülnek struktúrák, füst rontja a látást. Ennek valós idejű, konzisztens generálása a sebészrobotika és az autonóm sebészeti policyk tanításának egyik szűk keresztmetszete.

Az NVIDIA maga is hangsúlyozza: ez kutatási szimulátor, nem validált betegellátási rendszer, a vizuális realizmus pedig nem bizonyítja a biomechanikai pontosságot. A következő lépésnek a teljes műtét lefedését, a numerikus szimulációval való összekötést és a sebészekkel végzett értékelést nevezi meg.

Kipróbálható

A modell elérhető a Hugging Face-en, a kód és a példák a GitHubon. Saját adatra és kontrollerre is adaptálható szinkronizált videóval és kompatibilis akcióreprezentációval, ehhez az NVIDIA lépésről lépésre receptet adott a teacher finomhangolásához és a desztillációhoz. Medtech csapatoknak, akik sebészrobot-adatokkal dolgoznak, ez kész kiindulópont saját szimulátorhoz.