Google új TPU 8-as chipeket mutatott be bizalmas és memóriaigényes AI-hoz

A Google a TPU 8 generációt négy rendszerre bővítette: 8t, 8i, 8tx és 8i Max. A cég szerint a modularis felépítés lehetővé teszi, hogy aház, a memória, a hálózatkötés és a biztonsági funkciók új igényekhez igazodjanak anélkül, hogy minden alkalommal új chipet kellene fejleszteni.

A TPU 8tx a TPU 8t szilíciumot AMD-hosztprocesszorokkal kombinálja; az AMD közlése szerint ezek az 5. generációs Epyc (Turin) processzorok. A rendszer bizalmas számítást támogat, így az adatok és a modellsúlyok feldolgozás közben is védettek maradnak. A hálózatkötést a TPU 8i-hez fejlesztett Boardfly topológia adja. A Google szerint a rendszer teljesítménye akár a kétszerese a TPU 8t-énak, a többletvédelem pedig alig okoz veszteséget. A konfiguráció elsősorban következtetésre (inferenciára) készült, de kisebb tanítási feladatokat is futtathat, például privát finomhangolást, modelldesztillációt és megerősítéses tanulást.

A TPU 8i Max nagy kontextusú és nagy memóriaigényű alkalmazásokhoz készült, például olyan ügynökökhöz, amelyek kiterjedt kódbázisokat vagy hosszú videókat dolgoznak fel. Ehhez két TPU 8i chipet egy csomagba integrálnak. A gyártói adatok szerint a TPU 8i-hez képest a számítási teljesítmény, a SRAM és a HBM-memória sávszélessége is megduplázódik, miközben a rackben kétszer annyi szilícium fér el. A forrás alapján a TPU 8i 384 MB on-chip SRAM-mal, 288 GB HBM-mel és 8 601 GB/s HBM-sávszélességgel rendelkezik; ebből a duplázás alapján a 8i Max értékei 768 MB SRAM és 17 202 GB/s sávszélesség lennének. A Google ezeket a számokat nem közölte, csak a duplázást jelezte, a HBM abszolút kapacitását pedig nem adta meg.

A hardvert szoftverek egészítik ki: a TorchTPU natívan futtatja a PyTorchot, a vLLM és az SGLang számára készült TPU-backendek pedig a meglévő kiszolgáló környezeteket támogatják. Az Agent Compute Engine a inaktív ügynöksessziókat felfüggeszti, és a memóriájukat milliszekundumokon belül kiüríti a gyorsítóról. A TPU Sync a KV-gyorsítótárak és a modellsúlyok szinkronizálását kezeli, a Google szerint több mint 90 százalékkal csökkentve a KV-átvitel késleltetését és az első tokenig eltelt időt. A Cloud Pathways a Google Kubernetes Engine-ben általánosan elérhető, egy vezérlő több TPU-szeletet kezelhet, a kiesett szeleteket egy percen belül pótolja. A dinamikus szeletelés, amely optikai kapcsolással csatol vagy szétoszt TPU-erőforrásokat, szintén általánosan elérhető; a Google szerint akár ötször gyorsabb a feladatindítás és 4,5-szer gyorsabb a hibaelhárítás.