World Labs bemutatja az Atlas világmodellt, amely felválthatja a speciális 3D-szoftvereket
A Fei-Fei Li által alapított World Labs bejelentette az Atlas nevű világmodellt, amely néhány képből képes generálni, rekonstruálni és szimulálni térbeli jeleneteket. Az omni-modell egyes feladatokban felülmúlja a speciális 3D-modelleket.
Az Atlas a »térbeli intelligencia« koncepciójára épül, amely képes megérteni és folytatni térbeli jeleneteket, nem csupán egyedi képeket előállítani. A modell szöveg, képek, videó és 3D-adatok feldolgozására képes egyetlen rendszerben, az összes bemenetet a háromdimenziós térben egy konkrét pozícióhoz rögzítve. Ez a »spatial context« nevű közös térbeli megértés különbözteti meg az Atlast a hagyományos nyelv- vagy videomodellektől.
Az Atlas többféle feladatot lát el: kameravetítéssel új nézőpontokat generál tetszőleges kamerahelyzetekből, akár egy perc hosszú 1440p-felbontású videót produkálva. Térbeli rekonstrukcióban néhány képből valós jeleneteket építhet fel speciális felvevőtechnika nélkül, és már két-három kép alapján felülmúlja a speciális 3D-modelleket. A modell valódi 3D-adatokat is képes kimeneti formátumként szolgáltatni, például pontfelhőket vagy 3D-Gaussian-splatsokat.
A szimulációs képességekben az Atlas »Bullet Time« effektusokat hoz létre, valamint robotikai alkalmazásokhoz »Real-to-Sim« munkafolyamatokat támogat. Néhány felvételből képes szimulálni megfogási és mozgási feladatokat, így változatos betanítási adatokat biztosítva a robotoknak anélkül, hogy minden szituációt valóságban kellene rögzíteni. A World Labs korábban már bemutatta ezt a technológiát, amely egyetlen valós feladatból több ezer variációt generál.
Az Atlas architektúrája ötvözi a modern nyelvmodellek és videomodellek megközelítéseit: a nyelvmodellekhez hasonlóan lépésről lépésre generálja kimeneteit, ami lehetővé teszi az olyan gyorsítási technikákat, mint a KV-caching, ugyanakkor a diffúziós elvek alapján működik, mint a képgenerálási modellek.
Forrás: the-decoder.de — „World Labs will mit Weltmodell Atlas spezialisierte 3D-Modelle überflüssig machen - the-decoder.de”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.