Nvidia Nemotron 3.5 Lightning: gyorsabb és olcsóbb mesterséges intelligencia ügynökök

Az Nvidia kiterjesztette Nemotron-modellfamiláját a Nemotron 3.5 Lightning bevezetésével, amely egy 30 milliárd paraméterből álló Mixture-of-Experts modell. Az eszköz kifejezetten AI-ügynökök számára lett optimalizálva, amelyek hosszabb időtávon önállóan végeznek feladatokat, például kódvizsgálatot, eszközhasználatot, biztonsági figyelmeztetések kezelését és ügyfélszolgálati kérések feldolgozását. A modell akár négyszer gyorsabb kimeneti sebességet és 30 százalékkal gyorsabb ügynök-feladatok feldolgozását ígéri versenytársaihoz képest.

A Nemotron 3.5 Lightning rugalmasan telepíthető: futhat helyi számítógépeken GeForce RTX grafikus kártyával, valamint munkaállomásokon, adatközpontokban és felhőben. Az Nvidia az NeMo Switchyard nyílt forráskódú könyvtárat is bemutatott, amely intelligens modell-útválasztást végez. Ez az eszköz automatikusan irányítja az kéréseket a legmegfelelőbb modellhez, csökkentve a költségeket azáltal, hogy egyszerű feladatokhoz kisebb, olcsóbb modelleket, összetett problémákhoz pedig nagyobb modelleket használ.

A partnerek tapasztalatai szerint az NeMo Switchyard jelentős megtakarításokat eredményez: a Boomi 59 százalékkal több forgalmat irányított egy speciális modellhez, a Classmethod 27 százalékos költségcsökkentést ért el, a Cognition 28 százalékkal csökkentette a költségeket, a LangChain pedig 74 százalékos megtakarítást érte el 145 többlépcsős ügynök-feladatnál. Az Nvidia a Nemotron 3.5 Lightning modellt és az NeMo Switchyardot nyílt forráskódúként bocsátotta rendelkezésre, valamint közzétette a modell tanítási adatait és módszereit.