Nvidia DLSS 5: három AI-modell és egyetlen grafikkártya elegendő

Az Nvidia kutatási előadásán Edward Liu és Gabriele Leone részletesen ismertetette a DLSS 5 architektúráját, amely egy kompakt, egy lépésben működő pixel-tér diffúziós transzformeren alapul. A technológia három fő kihívást hivatott megoldani: az alkotói szándék megőrzése, a képkockák közötti stabilitás biztosítása, valamint a valós idejű 4K/UHD grafika maximális teljesítménye.

A rendszer az AI-modellt úgy tanítja meg, hogy tiszteletben tartsa az eredeti 3D-tartalmakat. Ehhez a renderelő belső adatait használja fel, például albedó-adatokat, felületnormálisokat és megvilágítási információkat. Az AI így megérti, mely elemek maradhatnak változatlanok, és csak azokat a tulajdonságokat javíthatja, amelyek a realizmusot növelik – például egy karakter arcának árnyékolása finomítható, de a karakterisztikus jegyei nem módosíthatók.

A DLSS 5 kauzális feldolgozást alkalmaz, amely nem néz előre a jövőbeli képkockákra, hanem egyenként, valós időben finomítja az egyes renderelt képeket. A mozgásvektorok segítségével az AI megérti az objektumok mozgását a képkockák között, így biztosítható az időbeli stabilitás és koherencia anélkül, hogy a modellnek jövőbeli információkra lenne szüksége.

A fejlesztők három AI-modell közül választhatnak, amelyeket jelenetenkénti vagy szekvenciánkénti szinten válthatnak. A »Structure Intensity« és »Tone Intensity« csúszkák, valamint maszkeszközök lehetővé teszik az effektus finomhangolását egyedi karakterekre, objektumokra vagy környezeti részletekre. A technológia a kontrasztot, az ambient occlusiot, az érintkezési árnyékokat, a reflexiókat és a subsurface scatteringet javítja fel 4K felbontásban és valós időben.

Az Nvidia válasza a márciusi kritikára az volt, hogy élő demonstrációval mutatta be az AI-vezérlés részleteit, hangsúlyozva a fejlesztői kontrollt és az eredeti játékvilág integritásának megőrzését. A DLSS 5 integrációja az etablált Streamline SDK-n keresztül történik.