ModellekHír
Inkling 2 Mini: 20 GB-os nyílt modell laptopra
🇬🇧 Read this article in English →
A Thinking Machines kiadta az Inkling 2 Minit: 26,4 milliárd paraméteres, Apache 2.0 licencű MoE modell, amely kb. 20 GB memóriával lokálisan fut. Looped transformer, a középső rétegeit tokenenként háromszor futtatja.
· 3 perc olvasás

Mi jelent meg?
A Mira Murati alapította Thinking Machines november 20-án kiadta az Inkling 2 Minit (Thinking Machines). A modell a néhány hete bemutatott Inkling 2 Small kistestvére (Inkling 2 Small: 594B MoE a Thinking Machinestől), csak éppen laptopra méretezve. A súlyok Apache 2.0 licenccel elérhetők a Hugging Face-en (Hugging Face).
- Mixture-of-Experts: 26,4 milliárd összes, 3,4 milliárd aktív paraméter.
- Szöveg és kép bemenet, szöveg kimenet; agentes, tool use és kódolási felhasználásra szánják.
- A súlyok nagy része natívan NVFP4-ben van, az utolsó négy réteg MXFP8-ban. A teljes memóriaigény kb. 20 GB.
- A model card szerint 32 GB-os vagy nagyobb Apple silicon gépen, DGX Sparkon vagy 32 GB+ VRAM-os GPU-n ajánlott futtatni.
Mi az a looped transformer?
Az Inkling 2 Mini a középső rétegeit minden tokennél háromszor futtatja le. Így tokenenként 5,4 milliárd súlyaktiváció jut rá, vagyis többet "gondolkodik" anélkül, hogy a gondolatmenetet ki kellene írnia. A cég szerint ez főleg az agentes kódolásban segít, ahol az érvelés minősége számít, nem a tárolt tudás mennyisége.
A looping a tényszerű tudáson nem javít: az AA-Omniscience eredménye hasonló a vele egy méretű modellekéhez. A Thinking Machines kiadott egy kutatási, változtatható loopszámú variánst is. Ennél a CoT nélküli time horizon egy menetnél 16, háromnál 37 másodperc volt, a gondolatmenet rövidebb lett, de olvasható maradt, illetve a szabotázsteszteken nem romlott a modell.
Mennyire jó?
A cég mérései szerint a 100 milliárd paraméter alatti nyílt modellek között az Inkling 2 Mini vezet a DeepSWE v1.1-en (48,2%) és a Vals Index v2.2-n (46,5%). A SWE-bench Pro v2-n is előrébb van a hasonló méretű modelleknél, más teszteken csak a Qwen3.8-27B előzi meg. A kernelt optimalizáló PMPP-Hardon megközelíti a sokkal nagyobb Inkling 2 Small eredményét.
A demóban a kutatók repülőn, offline, egy 48 GB-os M5 Pro MacBook Prón pár perc alatt építettek vele egy játszható repülőszimulátort.
Hol fut?
Lokálisan SGLang, vLLM, Ollama, llama.cpp (GGUF), Unsloth, NVIDIA Dynamo, TokenSpeed és Llama App alatt. RL finomhangolásra SkyRL, Miles és NVIDIA AutoModel támogatás van, felhőben pedig a cég Tinker platformján érhető el inferenciára és finomhangolásra.
Miért érdekes?
Ez az egyik első szélesebb körben elérhető looped architektúrájú modell. Ha lokális coding agentet akarsz felhő nélkül, vagy céges adaton finomhangolnál egy kis modellt, most ez az egyik legerősebb nyílt jelölt a 30B alatti mezőnyben. A Qwen3.8-27B-hez képest érdemes saját feladatokon összemérni, mert a cég számai saját mérésből jönnek, eltérő beállításokkal (Harness adapterek: kevesebb tool call, jobb Qwen3.8-27B).
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk


