MAI-Base-2: kész a Microsoft 2,8 billiós alapmodellje

Mit jelentett be a Microsoft?

A MAI-Base-2 a MAI-Base-1 utódja: 2,8 billió paraméter, ebből 80 milliárd aktív. 16 ezer GB200 GPU-n tanították 38 napig, 2026 augusztusában és szeptemberében, kb. 50 billió tokenen (Microsoft AI). A modell most utótanítás alatt áll, termékként még nem érhető el.

Forrás: Microsoft AI. Held-out bits per byte kód-, QA-, STEM- és matekfeladatokon; az alacsonyabb érték a jobb. A MiMo, Qwen és Kimi modelleknél csak utótanított checkpoint volt elérhető.

Hatékonyság: mit állít a riport?

A Microsoft szerint a receptje 4,2–12,3-szor FLOPs-hatékonyabb, mint a DeepSeek-V4-Pro-Base, a legerősebb nyílt alapmodell. A MAI-Base-1-hez képest 6,3–12,7-szeres a javulás. Fontos: a mérések a cég saját held-out tesztjei, nem nyilvános benchmarkok.

A Business Insider szerint Mustafa Suleyman belső üzenetben azt írta, hogy a modell egy hasonló OpenAI alapmodellt is megelőz, nagyjából negyed annyi számítással. Ez is belső összehasonlítás.

A módszerek, röviden

• Scaling ladder „source scaling” technikával, hogy a kisebb kísérletek eredményei átvihetők legyenek nagy méretre.
• Minden rétegben MoE, saját dropless MoE implementációval; az MoE-rétegek MFU-ja 24%-ról 35%-ra nőtt.
• Muon optimalizáló AdamW helyett, és activation gradient clipping a stabil tanításért.
• Natív látás encoder nélkül; a 50 billió tokenes mix 18%-a vizuális adat.

A teljes futás átlagos MFU-ja 21%, a goodput 89% volt. A Microsoft hangsúlyozza, hogy a tanítóadat organikus, nem más modellekből desztillált, és a súlyokat a Foundry-n keresztül licencelheti partnereknek.

Miért érdekes?

Ez az eddigi legerősebb jel arra, hogy a Microsoft saját frontier modellt épít az OpenAI-partnerség mellett. Hogy a valós képességekben ez mit jelent, az az utótanított modell nyilvános mérésein derül ki. A MAI-Base-3 előkészítése a cég szerint már zajlik.