Arm Mali G2 NX: mesterséges intelligencia generálja a grafika 87%-át

Az Arm CSS for Mobile 2 csomag részeként bemutatott Mali G2 NX generáció első alkalommal kapott dedikált neurális gyorsítókat a mobil grafikus egységekben. Ezek az összetevők három feladatot látnak el: neurális szupersampling (NSS), neurális képkocka-felskálázás (NFRU) és neurális szupersampling zajcsökkentéssel (NSSD). A technológia célja a mobileszközök energiafogyasztása, képminősége és teljesítménye közötti konfliktus feloldása, amely az 1-2 watt GPU-teljesítménybüdzséből adódik.

A neurális szupersampling egy temporális, neurális eljárás, amely alacsonyabb felbontásban renderelt képeket skálázza fel — például 540p-ről 1080p-re. Az eljárás mozgásvektorokat, mélységinformációkat és korábbi képkockák történetét használja fel, hogy egy neurális hálózat segítségével hiányzó képdetailokat rekonstruáljon és az időbeli stabilitást javítsa. Az Arm belső grafikai demóiban az NSS a képkocka-sebességet megduplázta azonos energiafogyasztás mellett, valamint felére csökkentette a szükséges DRAM-sávszélességet és energiaigényt képkockánként.

Az NFRU eljárás mesterségesen generált köztes képkockákat hoz létre két ténylegesen renderelt képkocka között, felhasználva azok szín-, mélység- és mozgásinformációit. A GPU neurális gyorsítójában integrált Motion Engine optikai áramlást számít, amely túlmegy a hagyományos játékmotorokból származó mozgásvektorokon. Ily módon például 60 vagy 120 képkocka/másodperc kimenetnél nem szükséges minden egyes képkockát teljes mértékben renderelni — az NFRU a közöttük lévő képeket állítja elő.