Nvidia gyártásba vette a Groq 3 chipeket a 20 milliárdos felvásárlás után
Az Nvidia bejelentette, hogy a Groq 3 LPX szerverek teljes termelésben vannak és még idén online kerülnek. A technológia a cég történetének legnagyobb, 20 milliárd dolláros akvizíciójából származik.
Az Nvidia az Nvidia Vera központi processzorok és Rubin grafikus processzorok mellett telepíti a Groq szervereket a Nebius felhőszolgáltatónál, amelyek 2024 végéig üzembe helyezésre kerülnek – közölte Dion Harris, az Nvidia senior direktora. A Groq architektúra 500 megabájt gyors SRAM-mal rendelkezik a chipen, amely csökkenti a memória-szűk keresztmetszeteket. A Groq 3 LPX szerverek 256 egyedi Groq 3 chipet tartalmaznak és másodpercenként 3400 token feldolgozására képesek.
A felvásárlás az alacsony késleltetésű AI-következtetés iránti növekvő igényt tükrözi, amely az AI-ügynökök responsívvá tételéhez szükséges. A felhőszolgáltatók prémium szolgáltatási szinteket kínálhatnak az ilyen alacsony késleltetésű megoldásokért. A Groq chipeket a Samsung gyártja, míg az Nvidia GPU-it a TSMC készíti.
A technológia nem helyettesíti a GPU-kat, amelyek továbbra is az AI-infrastruktúra gerincét képezik. Az alacsony késleltetésű chipek elsősorban a modellek »dekódolási« fázisára összpontosítanak. Az AMD már bejelentette, hogy integrálni fogja a Cerebras chipjeit, az OpenAI pedig az Ultrafast módot mutatott be, amely 750 token/másodperc sebességet ígér.
Jensen Huang, az Nvidia vezérigazgatója a Blackwell és Vera Rubin rendszerek között 1 billió dolláros kumulatív értékesítést vetített előre 2027-ig. Huang azt is közölte, hogy a kódolási alkalmazásokra szánt adatközpont-kapacitás negyedét Groq chipekre fordítja, míg a többi 100 százalékban Vera Rubin rendszereket használ.
Forrás: CNBC — „Nvidia says Groq racks will be online this year following $20 billion purchase - CNBC”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.