DeepSeek DeepInfer: nyílt a V4.1 Flash inference motorja

Mi jelent meg?

A DeepInfer a DeepSeek saját, nagy léptékű felhős szolgáltatása mögötti inference keretrendszer. A cég szerint egyetlen klaszterük napi 155 billió tokent szolgál ki, GPU-óránként 38 dolláros bevétellel, völgyidőszaki árazáson számolva. A nyílt kiadás egyelőre a DeepSeek-V4.1-Flash modellt támogatja.

• Optimalizált kernelek: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect és saját TileLang-kernelek.
• Párhuzamosítás: attention oldalon DP és kiegyensúlyozott CP, MoE oldalon expert parallelism EPLB-vel.
• Speculative decoding (DSpark) draft tokenekkel, magabiztosság alapján ütemezett ellenőrzéssel.
• Batch-invariáns inferencia és determinisztikus mintavétel, egyelőre csak NVIDIA-n.
• Strukturált kimenet regex, JSON séma vagy EBNF nyelvtan alapján.

Mellé jött a deepseek-recipe is. Ez az API-protokollok és a tokenszekvenciák közti átalakítást végzi a hivatalos DeepSeek API-val azonos logikával, így egy saját deployment ugyanúgy viselkedik, mint az eredeti.

Mi hiányzik?

A README maga sorolja fel, mi kell még egy teljes online szolgáltatáshoz: KV cache rendszer, a prefill és a decode szétválasztása, illetve a replikák közti terheléselosztás. Ezek szorosan a DeepSeek belső infrastruktúrájához kötődnek. A tervezésüket a deployment Q&A és egy Zhihu-bejegyzés írja le részletesen. Vagyis ez erős motor, de nem kész szolgáltatás.

Mekkora vas kell hozzá?

A Q&A szerint a hatékony minimum nagyjából 64 GPU prefillre és 64 decode-ra, a decode-nál EP64-128 a javasolt beállítás. A rendszert úgy tervezték, hogy a KV cache-t több mint 72 órán át megtartsa, ehhez GPU-nként nagyjából 14,4 TB logikai tárhellyel számolnak a 3FS tárolóklaszteren.

Kisebb csapatnak ez inkább tananyag és kernelforrás, mint letölthető stack. Aki viszont nagy léptékben szolgál ki DeepSeek-modellt, annak most először van hivatalos referencia a gyártótól. Beszédes a Huawei Ascend támogatás is: a DeepSeek nyíltan két hardverplatformra optimalizál.