Apple tárgyalásokat folytat az AI-modellek iPhone-ra való tömörítéséről
Az Apple egy kaliforniai startup-pal tárgyal, amely képes mesterséges intelligencia-modelleket olyan mértékben tömöríteni, hogy azok közvetlenül iPhone-okon futtathatók legyenek. A PrismML nevű cég egy 54 gigabájtos modellt sikeresen 4 gigabájtra redukált.
A Khosla Ventures által támogatott PrismML startup kedden nyilvánosságra hozta az Alibaba Qwen modelljének tömörített verzióit. A technológia lehetővé teszi, hogy a 27 milliárd paraméteres modell iPhone 15-ös vagy újabb készüléken fusson. A PrismML vezérigazgatója, Babak Hassibi az CNBC-nek nyilatkozott, hogy az Apple és más vállalatok jelenleg értékelik a startup technológiáját, sebességét, energiahatékonyságát és teljesítményét.
A tömörítési technológia az AI-modellek belső információtárolásának drasztikus egyszerűsítésén alapul: az értékeket 16 bittől mindössze egy vagy három lehetséges értékre redukálja. Az így tömörített modellek 10-15-ször kevesebb memóriát igényelnek, 6-8-szor gyorsabban generálnak válaszokat, és 3-6-szor kevesebb energiát fogyasztanak a hagyományos verzióknál. A technológia azonban néhány százalékpontos teljesítményveszteséggel jár, különösen a faktikus információ visszahívása terén.
Az Apple számára az eszközön futó AI feldolgozás jelentős előnyöket kínálna: csökkentené a felhőszolgáltatások költségeit, javítaná az adatvédelmet, és lehetővé tenné bizonyos funkciók internetkapcsolat nélküli működését. A technológia különösen hasznos lehet az egészségügyi és fitneszadatokat feldolgozó alkalmazások számára. Az Apple már jelenleg is futtat helyi AI-feldolgozást, például fordítást és összefoglalást, de a bonyolultabb kéréseket felhőalapú infrastruktúrára vagy külső modellekre irányítja.
Az elemzők azonban óvatosságra intenek: a PrismML állításait még nem tesztelték valós körülmények között. A kritikus tényezők közé tartozik a modell teljesítménye hosszú promptok esetén, az akkumulátor-fogyasztás multitasking közben, valamint a megbízhatóság millió lekérdezés és ezer eszközkombináció során.
Forrás: CNBC — „Apple in talks with startup that shrinks AI models to run on an iPhone - CNBC”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.