Alibaba Qwen3.8-27B: 47 token/s középkategóriás GPU-n 16 GB memóriával

Az Alibaba a Qwen3.8-27B multimodális nyelvmodellt Apache 2.0 licenc alatt tette közzé, amely 27 milliárd paraméterrel rendelkezik és szöveget, képeket és videókat képes feldolgozni. A PCGH gyakorlati tesztje szerint a modell egy 16 GB memóriájú GeForce RTX 5060 Ti grafikus kártyán is futtatható, amely eddig a 27B-es osztályt elérhetetlen számára tartotta.

A tesztkonfigurációban az IQ4_XS-GGUF kvantizálást (14,6 GB), 32K kontextust, Q4 kvantizált KV-cache-t, teljes GPU-offload-ot és Flash Attention-t használtak. A memória olyan szűkös volt, hogy egyetlen súlyblokk Q8_0-ról Q4_K-ra való csökkentése mindössze 25 MB-ot szabadított fel. Multi-Token-Prediction (MTP) nélkül a modell 25,7 token/másodperc sebességet érte el, egy draft-token-nel 40,0, kettővel pedig 47,4-47,6 token/másodperc teljesítményt nyújtott.

A Qwen3.8-27B architektúrája lehetővé teszi ezt az eredményt: csak 16 réteg használ teljes attention-t, a maradék 48 réteg lineáris Gated-DeltaNet-ként működik, amely jelentősen csökkenti a KV-cache méretét. Az AMD saját mérései szerint a modellhez 24 GB grafikspeicher szükséges, az R9700 kártyán 51,8 token/másodperc sebességet mértek. A GeForce RTX 5060 Ti így az AMD workstation-kártya teljesítményének körülbelül 92 százalékát éri el.

A szerzők azonban megjegyzik, hogy az eredmények egyetlen futásból származnak speciális kvantizálással és rögzített prompttal, így az értékek alsó korlátnak tekintendők. Az eredmények reprodukálhatóságához további független mérésekre van szükség, valamint tisztázandó, hogy a draft-tokenek elfogadási aránya mennyire stabil különböző promptok között.