KutatásElemzés
Apertus 1.5: kiderült, hogyan készül a svájci nyílt modell
A Swiss AI Initiative október 15-én közzétette az Apertus 1.5 részletes összefoglalóját a technikai jelentés alapján. A 8B és 70B modell képet és hangot is ért, 262 ezer tokenes kontextust és opcionális thinking módot kapott. Ráadásul a tanítás minden lépése, adata és checkpointja nyilvános.
Írta: Mate · · 3 perc olvasás
Az ETH Zürich, az EPFL és a CSCS közös modellje, az Apertus 1.5 súlyai már július 24-én kijöttek Apache 2.0 licenccel (CSCS). Most jött hozzá a lényeg kutatói szemmel: a technikai jelentés (arXiv) és a részletes release notes (Hugging Face).
Ez nem „még egy nyílt súlyú modell”. Itt az adat, a kód és a teljes tanítási recept is nyilvános, ami ritka a mezőnyben.
Mi változott az 1.0-hoz képest?
Az 1.5 a régi modell továbbtanítása: a 8B-hez 4 billió, a 70B-hez 2 billió új tokent adtak, így összesen 19T, illetve 17T tokenen tanultak. Új: kép- és hangértés (a hang még kísérleti), opcionális thinking mód, 262 144 tokenes kontextus (az 1.0 négyszerese), jobb utasításkövetés és tool use.
A multimodalitás early fusion módon jön: a képek és a hang diszkrét tokenként kerülnek a szöveg mellé, külön vision encoder nélkül. Egy 512×512-es kép 1024 token, a hang másodpercenként 40 token. Csak a szókincset bővítették, az architektúra változatlan maradt. A modell ért képet és hangot, de csak szöveget generál.
A kutatói érték: minden lépés letölthető
A post-training öt lépcsős: SFT, long-context SFT, RLVR, DPO, végül a 8B-nél charter alignment (SDPO). Minden köztes checkpoint letölthető (base, SFT, RLVR, DPO), és nagy részüket a hozzá tartozó adatkeverékkel együtt adták ki.
Két érdekes megfigyelés a jelentésből, a csapat saját ablációi alapján: az SFT-be kevert multimodális adat minden modalitáson javított, és a multimodális reasoning trace-ek előnye megmaradt a későbbi, csak szöveges RL után is: matekban többet javult a modell, mint szöveges kiindulópontról.
A so what: aki azt akarja megérteni, mit csinál egy-egy tanítási lépés a modellel, itt végre lépésről lépésre össze tudja hasonlítani a checkpointokat. Zárt modelleknél ez lehetetlen.
Őszintén a teljesítményről
A csapat maga írja: az élvonalbeli nyílt súlyú modellek mögött még elmarad. A 8B a saját méréseik szerint hasonló méretű nyílt modelleknél jobb utasításkövetésben és többnyelvű feladatokban, multimodálisan pedig a Gemma 4 12B közelében van. A külső értékelők szerint svájci jogi feladatokon felveszi a versenyt a vezető nyílt modellekkel, egy fordítási benchmarkon pedig a 8B a GPT-OSS-20B szintjén van.
Az eredményeket az EvalEval Coalition Every Eval Ever sémájában is közzétették. Ez nemcsak a pontszámot rögzíti, hanem azt is, ki és milyen beállítással futtatta. A csapat szerint a séma az EU AI Act 55. cikke és a GPAI Code of Practice értékelési elemeinek 56/60-át le tudja fedni.
Mi jön?
Az Apertus 2.0-ról annyit mondtak: sparse/MoE architektúra, kb. 600B paraméter, agent, matek és coding fókusz. Akinek EU-s compliance vagy reprodukálhatóság számít, annak az Apertus most az egyik legjobban dokumentált kiindulópont, a nyers teljesítményben viszont nem ez lesz a csúcs.
