Genie 4: valós idejű világmodell hanggal és párbeszéddel

Mi jelent meg?

A Google DeepMind bejelentette a Genie 4-et, a Genie 3 utódját (Google DeepMind). A modell valós idejű, interaktív világszimulációt generál: a felhasználó billentyűzettel navigál és mozgatja a kamerát, szöveges promptokkal pedig menet közben alakítja a jelenetet. A Genie 4 natívan multimodális, a világgal együtt zenét, környezeti hangokat és párbeszédet is generál.

Mi változott a Genie 3-hoz képest?

• Valós idejű irányítás természetes nyelven: időjárás, kamera, új szereplő vagy tárgy menet közben. A Gemini a promptot a jelenethez igazítja, a bemenetek között pedig koherensen viszi tovább a világot.
• Realisztikusabb fizika (aerodinamika, ütközések) és a DeepMind szerint a legnagyobb ugrás: természetesen mozgó, irányítható emberi szereplők.
• Az első valós idejű világmodelljük natív hanggal, a szereplők pedig valós időben beszélgetnek és reagálnak.
• A Gemini 3.8 Flash agentként fut a körben: lépésekre bontja a célt, figyeli a képkockákat és ellenőrzi, hogy egy lépés sikerült-e.

A DeepMind a Gemini 4 Argonnal is kísérletezik: egy demóban az Apptronik Apollo humanoid robotja dámázik a szimulációban, a feladatot az Argon bontja valós idejű lépésekre.

Ki és mikor próbálhatja?

Most kutatási előzetesként trusted testereknél fut. Hamarosan a Google AI Ultra előfizetők kapják meg a Project Genie felületen, illetve a Gemini API és a Google AI Studio korai hozzáférésű partnerei. A Project Genie-hez várólista indult. Minden generált videó és hang SynthID vízjelet kap.

Korlátok

A DeepMind maga is korai, kísérleti modellnek nevezi. Rövid sessionökben koherens, de hosszabb futásnál vagy több bonyolult prompt után a részletek és az objektumok állandósága elcsúszhat. A komplex fizikai interakciók, a hang pontossága, az olvasható szöveg és a hosszú távú konzisztencia még nyitott kérdés. Konkrét felbontást, képkockasebességet vagy benchmarkot a bejelentés nem közöl.

Miért érdekes?

A világmodellek a robot- és agenttréning szimulációs környezetei felé tolódnak, a Genie 4 pedig a Gemini tervezőként való bekötésével ezt kézzelfoghatóbbá teszi. Ha játékot, prototípust vagy szimulációt építesz, érdemes figyelni a Gemini API korai hozzáférését, mert onnan válik majd ténylegesen beépíthetővé.