Adatszivárgás a Cloudflare GLM-5.3 modelljében hosszú promptoknál

Gadi Evron, a Knostic biztonsági kutatója szeptember 8-án jelezte a Cloudflare-nek, hogy a Workers AI-n futó GLM-5.3 modell (@cf/zai-org/glm-5.3) bérlők közötti elkülönítési hibával érintett, a probléma augusztus 27-től állt fenn. A Cloudflare másnap reprodukálta a hibát, és incidensnek nyilvánítását követő 40 percen belül leállította a modellt. Szeptember 9-én a cég javított konfigurációval és javított inferenciamotorral visszaállította a szolgáltatást. Az ellenőrzés szerint a Workers AI más modelljei nem voltak érintettek.

Az augusztus 27. és szeptember 9. közötti időszakban kevés ügyfél kapott olyan választ, amely a modellhez közvetlenül korábban érkezett más ügyfelek kéréseinek adatait tartalmazta. Összesen 155 választ érintett a hiba, mindegyik 681 280 tokennél hosszabb prompthoz tartozott. A Cloudflare szerint a kérések időzítése és száma a szokásos hosszú kontextusú használatnak felel meg, és nem utal szándékos kihasználásra. A hiba két, egymást átfedő okra vezethető vissza. Egyrészt a GLM 5.3-at 1 048 576 tokenes kontextusablakkal indították, miközben a prefill GPU-k KV-gyorsítótár-medencéje csak 681 280 tokennek volt elegendő. Másrészt az SGLang motor elosztott prefill/decode módban hibásan kezelte a túl hosszú kéréseket: a prompt helyére egytokenes helyettesítő került, a prefill mégis KV-gyorsítótárat generált és továbbított, a decode csomópont pedig a korábbi, részben érintetlen lapokra épített válaszgenerálást.

A javítás részeként a Cloudflare a medencét a teljes kontextus befogadására méretezte, így a prefill KV-medence körülbelül 2,04 millió tokent tart. Emellett módosították az SGLang elutasítási útvonalát, hogy a függőben lévő elutasítású kéréseket a motor még az átvitel előtt, az eredeti hibaüzenettel lezárja. A változtatásokat az SGLang upstream projektjébe is beküldték, a #38704 és #38935 számú módosításokat pedig a fenntartók egyesítették.