Granite Switch 4.1.1: modellfrissítés szoftverként

Mi változott?

Az IBM alig két héttel a Granite Switch 4.1 után kiadta a 4.1.1-es javítóverziót (Hugging Face blog). A Switch egy moduláris nyelvi modell: egy alapmodellből, cserélhető adapterekből és egy beszédfelismerő enkóderből áll, így egyetlen végpont tud chatelni, döntéseket hozni, illetve hangot szöveggé alakítani. A verziószám itt a szoftveres jelentést hordozza: visszafelé kompatibilis a 4.1-gyel, nem kell migrálni.

• Frissült a decision adapter (aLoRA) súlyozása. A prompt formátuma, a hívás módja és a kimenet olvasása nem változott.
• A beépített Granite Speech 5.0 TurboCTC (470M paraméter) mostantól nem csak angolul ír át: a modellkártya szerint angol, francia, német, spanyol, portugál, olasz és japán hangot kezel, írásjelekkel és nagybetűkkel. A blogbejegyzés 10 nyelvet említ, a modellkártya hetet sorol fel.
• A guardian-core biztonsági adapter és a 30B paraméteres, 128K kontextusú Granite 4.1 alapmodell ugyanaz maradt.

Mennyire jó?

Az IBM saját mérése szerint a frissített döntési adapter a nyilvános Jev Decision Index v0.3 készleten 51,33 összesített pontot ér el (esélykorrigált, súlyozott átlag). Kategóriánként: tudás 34,8, nyelv 58,5, keresés 59,8, eszközhasználat 69,0, művészetek 25,9. A 4.1-es verzió pontszámát a modellkártya nem közli, így a javulás mértéke nem látszik.

Miért fontos?

Az IBM szerint az ASR-modell és a döntési adapter betanításán kívül semmit nem kellett újraszámolni, az alapmodell érintetlen. Ez a minta azt ígéri, hogy egy modellt úgy lehet frissíteni, mint egy szoftverkönyvtárat: minden kiadás címkét kap a repóban, a régi verzióra egy revision paraméterrel vissza lehet állni. Az IBM oktatóanyagokon és egy Adapter SDK-n dolgozik, hogy külső fejlesztők is saját adaptereket építhessenek.

Kipróbálás

A granite-switch-4.1-30b Apache 2.0 licencű, Transformersszel és vLLM-mel futtatható, létezik 8B-s változata is. Telepítés a granite-switch 0.1.1 csomaggal (pip install "granite-switch[vllm,audio]>=0.1.1"). A hang OpenAI-kompatibilis chat API-n, input_audio részként küldhető, a nyelvet a modell maga ismeri fel. Korlát: a beszédenkóder és az LLM még nincs együtt tanítva, az átirat egyszerűen a chat kontextusába kerül.