AMD: Ryzen AI 69 százalékban helyileg dolgozza fel az AI-tokeneket
Az AMD egy ügynök-demóban azt mutatta be, hogy a Ryzen AI rendszer a feldolgozott tokenek 69 százalékát helyileg kezeli, míg csak 31 százalékot küld a felhőbe. A hibrid megközelítés lehetővé teszi, hogy rutinfeladatokat a PC oldja meg, a bonyolultabb kéréseket pedig nagyobb felhőmodelleknek továbbítsa.
Az AMD egy támogatási kéréseket feldolgozó AI-ügynök-demóban tesztelte a helyi és felhőalapú feldolgozás kombinációját. A rendszer a Claude Code ügynöket használta, amely képes volt a jegyeket elemezni, eszközöket kiválasztani, és dönteni arról, hogy a kérést helyileg oldja meg vagy továbbítsa. A demóban a Lemonade szoftvert alkalmazták, amely lehetővé tette az ügynök számára, hogy az adott feladat függvényében válasszon a helyi feldolgozás és a felhőben futó nagyobb modell között.
Az AMD szerint az egész demó során a feldolgozott tokenek 69 százaléka a helyi oldalon, 31 százaléka pedig a felhőben esett. A vállalat hangsúlyozta, hogy ez az arány az alkalmazástól függ, és a 69 százalék nem általános gyakorlati érték a Ryzen AI PC-khez. A mérés a gyártó által összeállított támogatási demón alapult, nem pedig független benchmarkon.
A helyi feldolgozás több előnnyel járhat: nem merülnek fel felhőmodell API-költségek, az adatoknak nem kell szükségszerűen elhagyniuk a rendszert, és csökken a hálózati kapcsolódástól való függőség. Az AMD a Ryzen AI Pro 400 processzort akár 60 TOPS NPU-teljesítménnyel, a Ryzen AI Max Pro-t pedig akár 192 GB RAM-mal és 160 GB GPU-memóriával kínálja, amely akár 300 milliárd paraméterű helyi modelleket támogathat.
Forrás: PC Games Hardware — „Ryzen AI: AMD schickt nur 31 Prozent der KI-Tokens in die Cloud - PC Games Hardware”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.