Saját üzemeltetésű modellel 90%-kal olcsóbb a Revolut AI-kódolása
A brit fintech Revolut kevesebb mint egy év alatt mintegy 90 százalékkal csökkentette AI-kódolási következtetési költségeit, miután a kereskedelmi szolgáltatások, például a Claude helyett saját üzemeltetésű modelleket tett alapértelmezetté. A cég szerint a fejlesztési idő 60, a szállítási idő 70 százalékkal javult.
A Revolut ops- és infrastruktúra-vezetője, David Abitbol a New York-i AI Engineer konferencián ismertette, hogy a brit fintech körülbelül 2000 mérnöke számára bevezetett AI-kódolóeszközök után a fejlesztési időben 60, a szállítási időben 70 százalékos javulást tapasztaltak. A vállalat először a GLM-5.1, majd a GLM-5.3 modellt alkalmazta, amelyet 56 Nvidia B200 GPU-n üzemeltet. Korábban Gemini-t 2025 elején, Claude Code-ot pedig 2026 elején vezettek be.
Abitbol elmondása szerint a korábbi költségek miatt szigorú keretösszegeket szabtak meg, mivel egyes mérnökök havonta 1000, sőt 10 000 dollárt költöttek kevés megtérüléssel. Az önálló üzemeltetésű GLM 5.1 a forrás szerint millió bemeneti/kimeneti tokenenként 0,30 dollárba került, ami körülbelül a tizede az OpenAI Codex vagy az Anthropic Claude Code költségének. A GLM mintegy 754 milliárd paraméteres modell, tokenenként 40 milliárd paraméter aktív. A teljesítményt a GPU-k számának növelése helyett a hiperparaméterek hangolása, az NVFP4 kvantálás, a szétválasztott prefill és decode, valamint a kontextushossz beállítása javította. Az optimalizálások után a cég 256 ezer tokenes kontextusablakon 3 másodpercen belüli első tokenidőt és másodpercenként körülbelül 200 tokenes generálási sebességet ért el.
A GLM szöveges modell, ezért a UI-feladatokhoz a Revolut modell-útválasztót használ, amely a képi kéréseket Gemini- vagy GPT Luna-modellekhez irányítja. Abitbol a kínai nyílt súlyú modellek kapcsán adatvédelmi és biztonsági aggályokat is említett, de szerinte az igazi kockázatot a Kínán kívülről futó API-elérés jelenti, a helyi vagy regionális felhőben futtatás esetén ez nem jelent problémát.
Forrás: The Register — „British fintech Revolut slashes AI coding costs 10x by cutting out Claude and going self-hosted - The Register”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.