Revolut: saját GLM-mel tizedére esett az AI-kódolás ára

Mi történt?

A Revolut saját GPU-kon futtatott nyílt modellre állította át mérnökei AI-kódolását. A számla így nagyjából a tizedére esett a korábbi Anthropic- és OpenAI-költésnek. A részleteket David Abitbol, a Revolut mérnöke mutatta be az AI Engineer New York-i konferenciáján (előadás, átirat). Az esetről november 3-án a The Register is beszámolt.

A számok

• Kb. 2000 mérnök használja a rendszert, a kódolási idő 60%-ában, a lead time 70%-kal javult.
• 56 darab NVIDIA B200 GPU futtatja a GLM-5.3-at; áprilisban GLM 5.1-gyel indultak.
• A kevert ár kb. 0,30 dollár millió tokenenként. Korábban egy-egy mérnök havi 1000 és 10 000 dollár közötti API-költést termelt.
• Az első token ideje (TTFT) 10 másodperc fölötti értékről 1,6 másodpercre esett ugyanazon a hardveren, miközben a kereslet 76%-kal nőtt.

Hogyan csinálták?

A kulcs az inference finomhangolása volt: NVFP4 kvantálás (az FP4 az FP8-hoz képest kb. 40% megtakarítás), 8 GPU-s tensor parallelizmus, 90% feletti cache-találati arány és szétválasztott prefill/decode (PD disaggregation). A célérték 3 másodperc alatti TTFT és 200 token/s, munkaidő után 800 token/s.

Abitbol szerint a „hosszú kontextus átverés”: kódoláshoz 256K token bőven elég. Egy router a képes kéréseket Gemini- és OpenAI-modellekhez küldi, a frontier modelleket kivételként megtartották.

Szabályozott környezetben

A Revolut EU-s szabályozás alatt működő bank, ezért az agentek human-in-the-loop sandboxban futnak, zero data retention mellett, OpenTelemetry-alapú naplózással. A GLM súlyait Kínán kívül hosztolják, az adat nem hagyja el a cég infrastruktúráját.

Miért fontos?

Ez az egyik első részletes nagyvállalati eset arról, hogy a kódolási agentek költsége saját hosztolással nagyságrenddel csökkenthető, a fejlesztői élmény romlása nélkül. Egy kisebb csapatnak nem kell 56 B200, de a módszer (kvantálás, cache, routing) kisebb léptékben is működik. A frontier modellt érdemes a nehéz esetekre tartogatni.