Ugrás a tartalomra
Neural Daily

ModellekHír

Aion Instruct: nyílt 2,3B-s modell az Edge-ben, Phi helyett

🇬🇧 Read this article in English →

A Microsoft MIT-licenccel kiadta a 2,3 milliárd paraméteres Aion Instructot, amely az Edge beépített kis nyelvi modelljeként leváltja a Phi-4-minit. A Prompt API origin trialba került, így éles oldalon is kipróbálható.

· 3 perc olvasás

Az Aion-1.0-Instruct-2.3B Hugging Face oldala: Microsoft model card, MIT licenc, 2B paraméter, BF16
Kép: Hugging Face · Képernyőkép · Forrás

Mi jelent meg?

A Microsoft Edge csapata november 19-én három újdonságot jelentett be (Microsoft Edge Blog):

  • Az Aion Instruct általánosan elérhető: nyílt súlyokkal a Hugging Face-en, illetve az Edge beépített kis nyelvi modelljeként (SLM).
  • A Prompt API origin trialt kapott, vagyis már éles weboldalról is hívható az Edge-ben.
  • Fejlesztői előzetesben jön a kísérleti Decisions API, amely szöveggenerálás nélkül ad strukturált választ.

Az Edge-ben az Aion leváltja a Phi-4-minit. A Microsoft szerint kisebb, gyorsabb, több eszközön fut, a gyakori webes feladatokban (összefoglalás, szövegírás, utasításkövetés, strukturált kimenet) pedig hasonló minőséget ad. Az Edge csak akkor tölti le, amikor egy oldal vagy funkció először kéri. Akkor is csak olyan gépre, amely jól futtatja. A felhasználó a beállításokban kikapcsolhatja, ekkor a modell is törlődik.

Mit tudunk a modellről?

A model card szerint (Hugging Face):

  • Kb. 2,29 milliárd paraméter, 28 réteg, 32K tokenes kontextus, bfloat16 súlyok, MIT-licenc.
  • Hibrid attention: 21 csúszóablakos (2048 tokenes ablak) és 7 teljes attention réteg, GQA.
  • Nyelvek: angol, német, spanyol, portugál, olasz, francia, kínai és japán. Magyar nincs a listán, a többnyelvű adat a tanítóanyag kb. 6%-a.
  • A tanítóadat a Phi Silica (az előző Windows SLM) adatainak kibővítése, a tudás 2025 decemberéig tart.
  • Saját mérések: MMLU 55,15, MMLU-Pro 33,35, GSM8K 74,91, MATH-500 48,00, IFEval 83,90.
  • Tool callingot is tud, a betöltéshez trust_remote_code=True kell. Először a nem kvantált modell jelent meg, a kvantált változatok később jönnek.

A model card szerint egy tovább optimalizált változat a Microsoft tartalommoderáló modelljével együtt 2027 január végéig a Windows operációs rendszer SLM-je lesz.

Prompt API és Decisions API

A Prompt API eddig csak az Edge Canary és Dev csatornáin volt elérhető. Az origin trialra regisztrálva most éles oldalon, valódi felhasználókkal tesztelhető. A Microsoft a visszajelzéseket a más böngészőkkel folytatott egyeztetésekhez is felhasználja, mert a Prompt API szabványosítása napirenden van.

A Decisions API igen/nem, feleletválasztós vagy pontozó kérdésekre ad valószínűségeket és egy megbízhatósági értéket, egyetlen lépésben, szöveggenerálás nélkül. Jó például szándékfelismerésre, felhasználói tartalom routolására vagy valós idejű rangsorolásra, néhány sor kliensoldali JavaScripttel. A Google és az OpenAI hasonló ötletet már felhőben kínál (Gemini Decisions API), az Edge-é helyben fut.

Miért érdekes?

A böngészőbe épített modell azt jelenti, hogy egyszerű AI-funkciókhoz (összefoglalás, címkézés, routing) nem kell API-kulcs, se felhős költség, az adat pedig a gépen marad. A Microsoft hibrid modellt javasol: ahol a helyi modell elérhető és elég, ott azt használd, máshol válts felhőre. Magyar nyelvű oldalaknál viszont érdemes előbb tesztelni, mert a magyar nem támogatott nyelv.

    Írta Mikola Máté Patrik

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek