Fejlesztő futtatja a világ egyik legerősebb AI-modelljét egy hétköznapi laptopón
Egy fejlesztő bizonyította, hogy a 744 milliárd paraméteres GLM-5.2 modell futtatható egy csupán 25 GB RAM-mal rendelkező szokásos laptopón. Az innovatív colibrì nevű inference-engine a Local AI mozgalom fontos mérföldköve.
A JustVugg nevet viselő fejlesztő egy C nyelvben írt, rendkívül hatékony inference-motort hozott létre, amely lehetővé teszi az egyik legerősebb nyilvánosan elérhető AI-modell futtatását fogyasztói hardveren. A GLM-5.2 modell 744 milliárd paramétere közül a colibrì-engine intelligens architekturát kihasználva csak a szükséges 40 milliárd paramétert tartja az RAM-ban, a többi pedig az SSD-n marad.
A megoldás a Mixture-of-Experts (MoE) megközelítést alkalmazza, amely lehetővé teszi, hogy a modell csak az adott feladathoz szükséges szakosított modulokat aktiválja. Az engine 10 GB RAM-ot foglal el a laptopban, míg a több mint 21 ezer szakértői modul az SSD-n tárolódik. A szoftver dinamikus gyorsítótárazást használ, így a gyakran használt modulok az RAM-ban maradnak, ami a rendszer válaszidejét javítja.
A fejlesztés technikai kiemelkedőségei közé tartozik, hogy a motor Python-t és dedikált grafikus processzort sem igényel, valamint nincsenek külső függőségei. Azonban a jelenlegi implementáció még inkább koncepció-bizonyítás, mint praktikus eszköz: a modell csupán 0,05-0,1 token másodpercenként generál, így egy teljes mondat több percig is eltarthat.
A módszer jelentős hardveres terhelést jelent az SSD-re az állandó adatátvitel miatt, amely hosszú távon a tárolóeszköz kopásához és túlmelegedéséhez vezethet. Ennek ellenére a projekt fontos lépés a Local AI mozgalom számára, mivel lehetővé teszi az érzékeny adatok helyi feldolgozását a felhőszolgáltatók szervereitől függetlenül, ezáltal javítva az adatvédelmet és a digitális szuverenitást.
Forrás: t3n — „KI-Schwergewicht auf dem Laptop: Wie ein Entwickler das riesige GLM-5.2-Modell bändigt - t3n”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.