Ugrás a tartalomra
Neural Daily

KutatásHír

ThinkingBox: adatbázis-ellenőrzésből RL-jutalom agenteknek

A Microsoft nyílt forráskódúvá tette a ThinkingBox-Training stacket. Az agent munkáját a végső adatbázis-állapot alapján pontozza, ezt a jelet pedig RL-jutalomként használja.

Írta: Mikola Máté Patrik · · 2 perc olvasás

ThinkingBox Training ábra: feladatválasztás, adatbázis-ellenőrzés, jutalom és tanítás, majd kiértékelés a ThinkingBox-Bench adatkészleten
Kép: Microsoft · Sajtókép · Hero figure from the official blog post · Forrás

Mi változott?

A Microsoft október 22-én a Hugging Face-szel közös posztban kiadta a ThinkingBox-Training stacket (Hugging Face, GitHub). A ThinkingBox eredetileg benchmark: 507 feladat, mindegyik valódi backendet, MCP toolokat és egy szimulált LLM-felhasználót kap. A végén végrehajtható ellenőrzés nézi meg, mi változott ténylegesen az adatbázisban. Ez a 0 vagy 1 értékű ítélet most RL-jutalom lett a benchmarkon kívüli tanítófeladatokon.

A számok

  • Modell: Qwen3.8-27B, 50 GRPO-lépés.
  • pass@1: 51,70 százalékról 60,78 százalékra nőtt.
  • Mind a 20 próbálkozáson sikeres feladat: 38 helyett 107 (7,5 helyett 21,1 százalék).
  • pass@20: 89,35 százalékról 87,97 százalékra csökkent, vagyis kicsit szűkült a lefedettség.
  • Becsült költség megbízhatóan megoldott feladatonként: 24,36 helyett 8,00 dollár.

A kiértékelés a 507 feladatos ThinkingBox-Benchen történt, amelynek doménjeit, adatbázisait és a legtöbb MCP toolját a modell a tanítás során nem látta.

ThinkingBox-Bench diagram: estimated cost per successful attempt versus pass@1, the RL fine-tuned Qwen3.8-27B moves up and left
Microsoft · Sajtókép · Benchmark figure from the official blog post · Forrás

Forrás: Microsoft, Hugging Face blog (ThinkingBox-Bench, becsült költség sikeres próbálkozásonként)

Hogyan választják ki a tanítófeladatokat?

A legtöbb feladat vagy már megy a modellnek, vagy reménytelen, így egyikből sem tanul. A Microsoft ezért a tanítás előtt egyszer lefuttatja a base modellt, megbecsüli a feladatonkénti sikerességet, és ez alapján rögzíti a tanítókészletet. Ezt offline policy-relative difficulty néven írják le.

Miért fontos?

Agentnél, amely éles adatbázis-rekordokhoz nyúl, nem elég az átlagos sikerarány. Az számít, hogy minden futásnál jól csinálja-e. A tanított 27B-s nyílt modell megbízható feladatonként 8,00 dolláros becsült költséggel közel került a GPT-5.4 (6,80 dollár) és a Claude Opus 5.5 (7,80 dollár) szintjéhez. Ha saját backended van ellenőrizhető állapottal, a stack OpenEnv környezettel együtt kipróbálható.

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek