vLLM 0.32: döntési endpoint, kevesebb KV-memória

Mi jött?

A kiadás 814 commitot tartalmaz 363 közreműködőtől, közülük 121 új (GitHub). A fontosabb újdonságok:

• Új POST /v1/systemone endpoint: choice, noul és score típusú kérdésekre válaszol egy strukturált állapot felett. Alapból be van kapcsolva. Támogatott modellek: Cloudflare/clef-omni, LiquidAI/d1-3B és DiffusionGemma.
• Általános hf tool- és reasoning parser: a checkpoint response_template mezőjéből dolgozik, így az ezt szállító modellekhez nem kell külön parser.
• Alacsony pontosságú KV-cache: az NVFP4 KV-cache már SM8x, SM12x és SM90 GPU-kon is fut. SM100-on a GLM-5.x alapból FP8 KV-cache-t kap, ami rankenként felezi a KV-memóriát. A PR mérése szerint ez 2,3 és 5,5% közötti átviteli többletet hoz, 7 és 11% közötti TTFT-növekedésért cserébe.
• Gyorsabb indulás: a vllm download-kernels a FlashInfer előre fordított kerneleit telepíti, a vllm preload --preload-autotune pedig újraindítás után is melegen tartja az autotune táblát.
• Terheléselosztás: ha az --api-server-count 1-nél nagyobb, minden kapcsolat a legkevésbé terhelt API workerhez kerül. Rövid kéréseknél a PR mérése szerint ez 43 és 85% közötti req/s többlet (Qwen3-0.6B).
• Új modellek: EmbeddingGemma 2 (omni-modális embedding), MiniCPM-V 4.7 és Nemotron 3.5 ASR.

Biztonság

Három biztonsági javítás került bele: a GHSA-4hhp-h66f-j5j7 (chat template erőforrás-kimerítés), a GHSA-q97c-p368-75c4 (tokenizer max_token_id) és a GHSA-frvg-qw88-hww9 (P2P ZMQ socket-kimerítés). A CORS alapból már nem enged át minden origint, böngészős kliensekhez az --allowed-origins kapcsolóval kell engedélyezni őket. Nem megbízható képeknél csak raszteres formátumok mennek át. A 64 szintnél mélyebb JSON sémák 400-as hibát kapnak.

Mire figyelj frissítés előtt?

• A Python 3.10 támogatása megszűnt, a minimum a 3.11.
• transformers>=5.16.1,<5.20.0 és tokenizers>=0.23.2 kell hozzá.
• A max_tokens mostantól felső korlát, nem foglal le helyet a kontextusablakból. Így a hosszú promptokat sem utasítja el.
• A cascade attention kikerült. A --disable-cascade-attn kapcsoló egyelőre csak figyelmeztet, a 0.33.0-ban megszűnik.
• A Responses API reasoning stream eseményei átneveződtek: response.content_part.added/done, part.type="reasoning_text" mezővel.

Kinek érdemes?

Ha saját GPU-n szolgáltok ki modelleket, a KV-cache változások és az okosabb terheléselosztás kézzelfogható nyereséget hozhat. A breaking change-ek miatt viszont stagingen érdemes kezdeni, főleg ha böngészőből hívjátok az API-t (CORS) vagy a Responses API stream eseményeire építetek. A /v1/systemone jól illeszkedik a döntési modellek trendjéhez, amelyről a Liquid AI d1-ultra kapcsán már írtunk.