AI világmodell futtatható egyetlen RTX 5090-en, de lassú és erőforrásigényes

Az ABot-World-0 egy akciógesztúra-vezérelt videomodell, amely nem hagyományos 3D-renderelés segítségével, hanem az előző képkockák és a felhasználói bemenetek alapján folyamatosan generálja a látható képeket. A modell támogatja a kameramozgásokat és karaktervezérlést billentyűzetről, valamint AAA-játékok, szimulációs környezetek és internetes videók felhasználásával tanították.

A fejlesztők által közölt 16 képkocka/másodperc azonban csak agresszívabb tömörítéssel érhető el. Az FP8-kvantizálás mellett 12,4 fps-t, míg az optimalizált MXFP4-konfigurációval 15,8 fps-t értek el, mindegyik jelentős memóriaigénnyel. Az eredeti modell egyáltalán nem futott az RTX 5090-en, csak egy könnyebb VAE-dekóder implementálásával sikerült körülbelül 9,1 fps-re csökkenteni a memóriaigényt.

A rendszer 720p felbontásban működik, és körülbelül 1,2 másodperc késleltetés van a felhasználói bemenet és az első új képkocka között. A »végtelen világ« koncepciója egy gördülő puffer segítségével valósul meg, amely megakadályozza a videomemória korlátlan növekedését, azonban ez azt jelenti, hogy az AI nem tud korlátlanul emlékezni az előzőleg meglátogatott helyekre.

A modell teljesítménye a Worldroambench tesztekben vegyes eredményt mutat: jó a vezérelhetőség és képminőség, de több területen elmarad a Google Genie 3-tól és a Happyoyster-től. Az ABot-World-0 fő előnye a helyi futtathatóság a Google Genie 3-mal szemben, amely felhőalapú szolgáltatásként működik. A játékfejlesztésben jelenleg inkább koncepciók, szimulációk és gyors vizuális prototípusok készítésére alkalmas, nem pedig teljes értékű, játszható termékek létrehozására.