Nvidia Nemotron 3.5 Lightning: helyi futtatásra optimalizált AI-modell a GeForce RTX 5090-en
Az Nvidia új Nemotron 3.5 Lightning modelljét kifejezetten a fogyasztói számítógépeken való helyi futtatásra tervezte. A Mixture-of-Experts architektúrájú modell a GeForce RTX 5090 grafikus kártyán futtatható, és az ügynök-alapú rendszerekben akár négyszer gyorsabb kimenetet ígér a hasonló méretű nyílt modellekhez képest.
Az Nvidia által bejelentett Nemotron 3.5 Lightning a Nemotron-3 család legkisebb tagja, amely Mamba-2 rétegeket és MoE-blokkokat kombinál. A modell tokenként mindössze három milliárd paramétert használ aktívan, így jelentősen csökkenti a számítási terhelést. Az egy millió token hosszúságú kontextusablak és több mint 20 billió token-on végzett előtanítás lehetővé teszi a hosszú dokumentumok feldolgozását.
A modell elsősorban ügynök-rendszerekben használható, ahol az eszközhívások, ellenőrzési lépések és formázások elvégzésére alkalmas, miközben egy nagyobb érvelési modell az általános folyamatot irányítja. Az Nvidia több spekulatív dekódolási technikát alkalmaz a gyorsabb kimenet érdekében, köztük a beépített multi-token-predikciót és két külön vázlatmodellt (DSpark és DFlash). A PinchBench ügynök-benchmarkban a Lightning 86 százalékos pontosságot ért el, és 30 százalékkal gyorsabban teljesítette a 10 000 feladatot a Qwen3.6 35B-hez képest.
A modell hivatalosan csak a GeForce RTX 5090-en támogatott, bár az Nvidia általánosabban »RTX PC«-kről beszél. Az eltérés a NVFP4 négy bites formátumból adódik, amely natívan fut a Blackwell architektúrán. A 32 GB GDDR7 memória elegendő a modellhez, azonban az RTX 5080 16 GB-ja már nem, ezért az egy millió token kontextus és az egyetlen fogyasztói kártyán való futtatás nem lehetséges egyidejűleg.
Az Nvidia két verzióban teszi elérhetővé a modellt: az eredeti NVFP4 formátumban és W4A16 kvantizált változatban. A kvantizált verzió néhány feladatban kisebb teljesítménylecsökkenést mutat, különösen hosszú kontextusú és többnyelvű munkáknál. A modell Linux alatt támogatott, Windows-on pedig az Ollama, llama.cpp és LM Studio partnerek segítségével használható. Az Nvidia párhuzamosan kiadta a NeMo Switchyard routing-könyvtárat, amely az ügynök-feladatokat az optimális modellhez irányítja, és az Opus 4.8-hoz képest körülbelül egyharmadára csökkenti a költségeket.
A Nemotron 3.5 Lightning az OpenMDW License Agreement 1.1 alatt érhető el kereskedelmi felhasználásra. A modell súlyai a Hugging Face és a ModelScope platformokon érhetők el, az Nvidia pedig nyilvánosságra hozta a Nemotron-RL-Agentic-Terminal-Pivot tanítási adathalmazt. A modell kipróbálható az OpenRouter szolgáltatáson vagy az Nvidia NIM-mikroszolgáltatásaként a build.nvidia.com oldalon.
Forrás: PC Games Hardware — „Nemotron 3.5 Lightning: Nvidias neue KI läuft lokal auf der Geforce RTX 5090 - PC Games Hardware”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.