Arete-27B: Qwen3.8 nyugati értékekre hangolva

Mit adott ki a Nous Research?

A Nous Research közzétette az Arete-27B-t: az Alibaba Qwen3.8-27B modelljének felügyelt finomhangolását (SFT). A cél az, hogy egy kínai tanítású open-weight modellben megerősítsék a nyugati értékeket.

A labor szerint a kiinduló Qwen3.8-27B politikailag érzékeny témákon elutasításokat, kitéréseket és a Kínai Kommunista Párt vonalához igazított válaszokat mutatott. Nem azt állítják, hogy minden ezzel összefüggő viselkedést helyrehoztak. Azt viszont igen, hogy a mért elfogultság egy lehetséges gyökerét kezelték.

Hogyan mérték a problémát?

Saját, 803 promptos értékelést építettek hét kategóriában: szólásszabadság, állami ideológia, állam versus szabad piac, oktatás, adatvédelem és megfigyelés, demokrácia, illetve környezet.

Két tengelyt mértek. Az egyik a tényfelidézés: promptonként 2–4 kötelező tény egy datált forráscikkből. A másik a keretezés: a válasz sajátjaként veszi-e át a kínai állam narratíváját.

A bíró a Grok 4.7 volt. Megkapta a promptot, a választ, a kötelező tényeket és egy rögzített rubrikát, de nem tudta, melyik modell írta a választ. A rubrikát egy 25 promptos, kézzel pontozott pilótán háromszor javították. Minden 0 fölötti propaganda-pont mögött idézett kifejezésnek kell állnia. Ha a modell csak azonosítja a hivatalos vonalat („a Párt így nevezi…”), az nem számít propagandának.

Mit mutatnak a számok?

Thinking kikapcsolva, hőmérséklet 0 mellett a Qwen3.8-27B tényátlaga 2,32 volt 5-ből, a propagandaarány 22%. Az Arete-27B ugyanezen a beállításon 2,98-as tényátlagot és 0,9%-os propagandaarányt ért el. A tanítómodell, az Inkling, 3,96-ot és 0,3%-ot produkált.

A 0 pontot kapott válaszok száma 359-ről 216-ra csökkent a 803 promptból. A javulás mind a hét kategóriában megmaradt. A legnagyobb ugrás a szólásszabadságnál volt: a tényátlag 0,89-ről 2,44-re nőtt, a propagandaarány 60%-ról 1%-ra esett.

A képességek lényegében megmaradtak. A belső Hermes Bench-en az Arete-27B 65,60%-ot ért el a kiinduló modell 65,77%-ával szemben, ami a labor szerint zaj. A Terminal-Bench-2.1-en 70% állt szemben 67%-kal, azonos hardveren. A különbséget nem tulajdonítják maguknak, mert más hivatalos harness-eredményektől eltérhet a futtatás.

Hogyan tanítottak?

Tanítómodellnek az Inklinget választották, nyílt súlyú modellként, hogy elkerüljék a zárt modellek felhasználási feltételeiből adódó „illegális desztilláció” kockázatát. A Nemotron 3 Ultrát komolyan fontolgatták, de Kína-témákon ott is problematikus nyomokat találtak. Azt feltételezik, hogy ez a kínai open-weight modellekkel végzett munka mellékhatása lehet.

Nagyjából húszezer promptot generáltak a hét kategóriában, kivették az evalval átfedő tételeket, majd a tanító és a kiinduló modell válaszait gyűjtötték. Kb. 52,8 millió tokenen finomhangoltak, 64k kontextussal, packing nélkül, két epochon át, 1202 lépésben. Nem használtak RL-t vagy preference optimizationt. Az architektúrát sem módosították. A vision encodert befagyasztották, mert az adat csak szöveges. Az MTP fejet kikapcsolták.

A súlyok, az 803 promptos Propaganda_Eval és a tanítóadat nyilvános. A labor szerint a kínai illesztésű modellek bias-rétege sekély: későn és vékonyan kerül rá. Gondosan válogatott felügyelettel elvehető anélkül, hogy alatta bármi megbomlana.

Mit jelent ez a gyakorlatban?

Ha Qwen-alapú agentet futtatsz érzékeny vagy geopolitikai témákon, a gyári keretezés nem csak stíluskérdés. A Nous olyan vizsgálatokra hivatkozik, amelyek szerint a kínai modellek sebezhetőbb kódot adhatnak, ha úgy tudják, hogy amerikai megbízónak dolgoznak.

A Qwen3.8 viselkedéséről korábban a Cohere esetét is megírtuk, amikor egy agent Pekingbe próbált fájlt feltölteni: Cohere: a Qwen3.8 Pekingbe próbált fájlt feltölteni.

Az Arete-27B egyetlen 27B-s SFT, nem általános semlegesség. Érdemes saját evalon lefuttatni, mielőtt élesbe tennéd. A súlyok a Hugging Face-en elérhetők.