Német konzorcium nyílt AI-modellt adott ki német és angol nyelvhez
A német kutatóintézmények és vállalatok által fejlesztett Soofi S modell a nyílt forráskódú megoldások között a legjobb teljesítményt nyújtja német és angol nyelvű teszteken. Az energiahatékony hibrid architektúra a Deutsche Telekom müncheni felhőjén készült.
A KI Bundesverband koordinálta német kutatókonzorcium a Soofi S 30B-A3B nyílt nyelvmodellt publikálta, amely a teljes körűen nyílt megoldások között a legmagasabb pontszámokat érte el német és angol benchmark-teszteken. A modell felülmúlja az eddig vezető Olmo 3 32B és Apertus 70B rendszereket. A 31,6 milliárd paraméterrel rendelkező Mixture-of-Experts modell azonban csak körülbelül 3,2 milliárd paramétert használ aktívan, így számítási költsége egy 3 milliárd paraméteres modellhez közeli.
A Soofi S az Nvidia Nemotron 3 Nano architektúrájára épül, amely Mamba-2 és klasszikus Attention rétegek hibrid kombinációja. Fő előnye a memóriahasználatban rejlik: csak 6 a 52 rétegből tartalmaz KV-cache-t, ami jelentősen csökkenti a szűk keresztmetszetet hosszú kontextusok és párhuzamos kérések esetén. 40 ezer token hosszú kontextus mellett és 32 párhuzamos feldolgozás során a Soofi S nyolcszor több tokent generál másodpercenként, mint hasonló méretű sűrű modellek.
A konzorcium körülbelül 27 billió tokenen tanított három fázisban. Az első fázisban 20 billió token alapján tanult a modell, a második fázisban 6 billió magas minőségű token finomította a képességeket, a harmadik pedig egy millió tokenes dokumentumokkal bővítette a kontextusablakot. Kulcsfontosságú a tudatos német nyelvű fókusz: az első fázisban 7,2 százalék, a második fázisban 15,3 százalék volt a német tartalom aránya, szemben az Nvidia referencia receptjének körülbelül 5 százalékával.
A kódolási teszteken a Soofi S 73,8 százalékot ért el a HumanEval-on és 84,2 százalékot a német MBPP-variánson, mindkettőben nyílt forráskódú csúcsteljesítményt nyújtva. A német nyelvtudás 15,1 ponttal javult az eredeti Nemotron-hoz képest, az angol teljesítményt azonban nem rontotta. Gyengeségei közé tartozik a német verseny matematika és a hosszú kontextusú szóextrakciós feladatok terén.
A képzés március és május között zajlott a Deutsche Telekom müncheni Industrial AI Cloud infrastruktúráján, maximum 512 Nvidia B200 GPU-n, összesen körülbelül 253 ezer GPU-óra alatt. Az intézmény megújuló energiából működik, az Eisbach-csatorna vizével hűtik, és a hulladékhőt a környező Tucherpark negyedbe vezetik. A projektet a Bundeswirtschaftsministerium az európai IPCEI-CIS program keretében támogatta, a Fraunhofer-intézetek és más német kutatóhelyek közreműködésével.
Forrás: The Decoder — „Deutsches Konsortium veröffentlicht offenes KI-Modell Soofi S für Deutsch und Englisch - The Decoder”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.