Az NVIDIA új modelljeivel és útválasztó rendszerével gyorsabb és hatékonyabb ügynök-AI

Az NVIDIA kiterjesztette Nemotron 3 modelljei családját a Nemotron 3.5 Lightning modellel, amely egy 30 milliárd paraméterű keverék-szakértői modell. Az új modell az osztályában a leghatékonyabb hosszú ideig futó ügynök-AI terhelésekhez, és akár 4-szer gyorsabb kimeneti sebességet nyújt, ami 30 százalékkal gyorsabb ügynök-feladatok elvégzéséhez vezet más hasonló modellek képest.

A Nemotron 3.5 Lightning teljes mértékben testreszabható és nyílt forráskódú modell, amely az NVIDIA NeMo segítségével könnyen utánképezhető szervezeti adatokkal, eszközökkel és munkafolyamatokkal. A modell helyi AI-rendszereken, például NVIDIA RTX PC-ken, valamint adatközpontokban és felhőben is futtatható, így a szervezetek teljes kontrollt kapnak az adatvédelem és az üzembe helyezés felett.

Az NVIDIA egyidejűleg kiadta a NeMo Switchyard nyílt forráskódú útválasztó könyvtárat, amely intelligensen irányítja az egyes kéréseket a legmegfelelőbb modellhez az ügynök-munkafolyamat minden lépésében. A technológia lehetővé teszi a fejlesztők számára, hogy nyílt, saját és NVIDIA-modellek keverékét használják anélkül, hogy újra kellene írniuk alkalmazásaikat. Az NVIDIA belső mérései szerint a NeMo Switchyard megtartja az élvonalbeli pontosságot, miközben a feladatok elvégzésének költségét körülbelül egyharmadára csökkenti.

A Nemotron 3.5 Lightning-et már számos iparág vezető vállalata testreszabja, köztük a CrowdStrike a kiberbiztonsági, a Harvey a jogi szolgáltatások és a CodeRabbit a kódfelülvizsgálat terén. A modell a Hugging Face, a ModelScope, az OpenRouter és az NVIDIA platformjain, valamint az NVIDIA Cloud Partners ökoszisztémáján keresztül érhető el.