Needle 2: 14 MB-os mesterséges intelligencia modell fut a Raspberry Pi-n
A Cactus Compute közzétette a Needle 2 nevű nyílt forráskódú AI-modellt, amely mindössze 14 megabájt méretű és speciálisan eszközmeghívásra és strukturált adatkinyerésre optimalizált. A modell Raspberry Pi 5-ön másodpercenként 500 tokent képes feldolgozni.
A Cactus Compute által augusztus 13-án bejelentett Needle 2 modell 45 millió paraméterrel rendelkezik és csupán 14 MB tárhelyet igényel, működéséhez 28 MB RAM szükséges. Ez a kompakt méret lehetővé teszi a modell futtatását alacsony teljesítményű eszközökön, mint például a Raspberry Pi 5, ahol másodpercenként 500 token feldolgozási sebességet ér el.
A modell kifejezetten eszközmeghívásra és strukturált adatok kinyerésére lett optimalizálva, ami azt jelenti, hogy képes külső funkciók meghívására és adatok szisztematikus feldolgozására. Ez a fejlesztés jelentős előrelépés a helyi AI-modellek futtatásában, amely csökkenti az adatátvitel szükségességét és javítja az adatvédelmet.
A Needle 2 megjelenése egy szélesebb trendet tükröz az AI-fejlesztésben: az utóbbi napokban több fejlesztő és technológiai vállalat is helyi, kliens oldali feldolgozásra optimalizált megoldásokat mutatott be. Ezek közé tartozik az OmniTool Hub 52 fejlesztői eszközzel, a BrowsersKit WebAssembly-alapú alkalmazásokkal, valamint az Amazon Web Services és az Anthropic új böngésző-integrációi.
Forrás: BornCity — „Needle 2: KI-Modell mit nur 14 MB läuft auf Raspberry Pi - BornCity”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.