Az AMD felvásárolta a Taalast, hogy felgyorsítsa az AI-inferenciát

Az AMD a Taalas felvásárlásával az Nvidia-val szembeni versenyt erősíti az AI-hardver piacán. A torontói startup 2023-ban alapított cég radikálisan eltérő megközelítést alkalmaz az inferenciához: a modellsúlyokat közvetlenül a szilíciumba eteti, ahelyett hogy a hagyományos GPU-khoz hasonlóan HBM-memóriában tárolná azokat. Ez az eljárás modell-specifikus integrált áramkörök (MSIC) létrehozásához vezet.

A Taalas első tesztchipje, az HC1, amely a TSMC 6 nanométeres technológiáján készült, a Meta Llama 3.1 8B modellt 16 960 token másodpercenként szolgáltatta ki – 48-szor gyorsabban az Nvidia GPU-inál. A második generációs HC2 chip, amely nyár folyamán érkezik, 20 milliárd paraméterre képes, így egy trilliós paraméteres modellhez mindössze 50 gyorsítóra lenne szükség.

Az AMD az Instinct-alapú Helios rack-rendszerrel párosítva kívánja bevetni a Taalas-technológiára épülő chipeket, ahol a GPU-k a prompt feldolgozást végzik, míg a token-generálást a Taalas-gyorsítók végzik. Az AMD mesterséges intelligencia alelnöke, Vamsi Boppana szerint a cél egy teljes körű AI-platform létrehozása, amely rugalmasságot biztosít az ügyfeleknek.

A technológia azonban jelentős korlátozással jár: az egyszer telepített chipek egy adott modellhez vannak kötve. Nagyobb modellváltoztatások új chipgyártást igényelnek, bár a Taalas szerint csak két fém-réteg módosítása szükséges, ami olcsóbb és gyorsabb, mint a teljes újratervezés. A vállalat szerint a modellsúlyok szilíciumba etése 100-szor olcsóbb, mint egy frontier modell betanítása.

A felvásárlás a szabályozási jóváhagyás függvényében az év negyedik negyedében zárulhat. Az AMD terve szerint az OpenAI, az Anthropic és a Meta – mind az Instinct-ügyfelek – potenciális partnerek lehetnek a Taalas-technológia bevezetésében.