Kínai GLM-5.3-Flash modell Nvidia nélkül működik, töredék áron
A Z.ai kínai mesterséges intelligencia cég bemutatott egy új, 320 milliárd paraméteres modellt, amely Nvidia-chipek nélkül működik és a konkurencia töredékéért kínál hasonló teljesítményt.
A GLM-5.3-Flash az első natívan multimodális modell a GLM-5 sorozatból, amely 320 milliárd paraméterből 18 milliárdot használ aktívan. Az Artificial Analysis mérései szerint az Intelligence Index tesztben 57 pontot ért el maximális érvelési erőfeszítéssel, mindössze 3 ponttal marad el a nagyobb GLM-5.3 modellétől. A legfontosabb előny azonban az ár: feladatonként 0,09 dollárba kerül, szemben a GLM-5.3 0,68 dolláros költségével, vagyis körülbelül 7,5-szer olcsóbb.
A Z.ai API-ján a modell 0,15 dollárba kerül millió bemeneti tokenonként és 0,50 dollárba millió kimeneti tokenonként, amely a GLM-5.3 árának körülbelül 10 százaléka. Az ügynöki feladatokban a modell egyenrangú a nagyobb verzióval: a GDPval-AA v2 teszten körülbelül 1770-es Elo-értéket ért el, amely csak Claude Opus 5 mögött marad.
A legfigyelemreméltóbb aspektus az infrastruktúra: a Z.ai az egész forgalmat kínai mesterséges intelligencia chipeken futtatja, Nvidia GPU-k nélkül. A SemiAnalysis szerint a rendszer naponta 100 billió tokent szolgáltat ki, amely kapacitás eddig csak a legfejlettebb kutatólaboratóriumoknak volt tulajdonítva. A Z.ai szerint a hardver-hatékonyság és a tokenonkénti költség összehasonlítható a szokásos Nvidia GPU-kkal.
A Z.ai saját szállítási szoftvert épített az SGLang alapján, és a feldolgozást egyedileg skálázható szakaszokra bontotta. Ezzel az optimalizálással a csapat megháromszorozta az átviteli sebességet ugyanazon a hardveren. Az optimalizálási munka során a csapat egy GLM-5.3 alapú ügynököt használt. Ez az eredmény azt sugallja, hogy a Nvidia CUDA-moat – az amerikai chipgyártó szoftveres ökoszisztémájának dominanciája – fokozatosan erodálódik.
Forrás: The Decoder — „Chinesisches KI-Modell GLM-5.3-Flash läuft ohne Nvidia und kostet einen Bruchteil der Konkurrenz - The Decoder”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.