Harness²: a Google menet közben hangolja az agent harnesst

Mi az a harness?

A harness minden, ami a modell körül van: promptok, eszközök, memória, skillek és orchestráció. A Harness² nyolc szerkeszthető komponenst kezel, mindegyik egy fájl: system prompt, guardrails, memória, tool guidance, subagentek, skillek, scriptek és egy middleware plugin (arXiv). A modell súlyai közben nem változnak. A munka a Google Cloud AI Research és a Northwestern University közös projektje.

Hogyan működik?

A célterep az ún. open world: a feladatok előre nem ismertek. Verifier sincs, ami megmondaná, jó-e a válasz. A legtöbb önjavító módszer címkékre vagy tesztekre támaszkodik, a Harness² ezek nélkül dolgozik.

Feladatszinten egy Propose, Probe, Compose lépés fut. Az agent előbb lefut az alap harnesszel. Ezután egy editor két jelöltet javasol: az egyik általános agenthibákat céloz, például a tervezést vagy az eszközhasználatot, a másik az adott terület tudását és eljárásait. Mindkettő lefut ugyanazon a feladaton. A composer végül csak azokat a módosításokat tartja meg, amelyeket a megfigyelt viselkedés alátámaszt.

Feladatok között egy reflector elmenti az elfogadott harnesst egy EXPERIENCE.md fájllal, benne a tanulságokkal. Ez a könyvtár segíti a későbbi javaslatokat, de minden új feladat az alap harnessből indul. A k paraméter skálázza a keresést, párhuzamos vagy szekvenciális módban.

Mit mutatnak a mérések?

A kutatók három szakmai benchmarkon tesztelték: WorkBuddy-Bench, JobBench és a Harvey jogi LAB benchmarkja. Végrehajtóként a Gemini 3.5 Flash és a GLM-5 futott OpenCode és Codex alatt, az editor alapból a Claude Opus 4.8 volt. Egyetlen lépés mind a négy konfigurációt javította mindhárom benchmarkon:

• WorkBuddy-Bench: a GLM-5 OpenCode alatt 64,2-ről 75,7-re javult, ezzel megelőzte az alap harnesszel futó Gemini 3.5 Flasht (72,4).
• JobBench: legfeljebb 4,5 pont javulás.
• LAB: legfeljebb 11,8 százalékpont javulás a kritériumonkénti teljesítési arányban.
• Párhuzamos rekurzióval (k=5) a Gemini 3.5 Flash OpenCode alatt 80,8 pontot ért el a WorkBuddy-Bench-en.

Forrás: Google Research, a Harness² tanulmány 1. ábrája. Balra WorkBuddy-Bench pontszámok területenként (Gemini 3.5 Flash, OpenCode), jobbra a javulás a k keret növelésével.

Akkor is javult az eredmény, amikor ugyanaz a modell volt a végrehajtó és az editor: mind az öt tesztelt modell, a GLM-5-től a Claude Opus 5-ig, minden benchmarkon jobb lett. A JobBench-en az eszközhívások hibaaránya 14,4%-ról 9,1%-ra esett.

Mibe kerül?

Ingyen nincs: a jelöltek kipróbálása extra futásokat és editor-sessionöket jelent, így nő az inferenciaköltség. A szerzők szerint a viselkedési kontraszt nem garantálja a helyességet. Azt sem bizonyítja, hogy egy elfogadott módosítás más feladatra is átvihető.

Hogyan próbálható ki?

A kód Apache-2.0 licenccel elérhető a GitHubon (GitHub), a verzió 0.1.0 (MarkTechPost). Linux, Python 3.12 és uv kell hozzá. Egy helyi demó modell-hozzáférés nélkül is lefuttatja mindkét rekurziós módot, a valódi futások viszont Vertex AI-on keresztül hívják a modelleket. Alapból OpenCode a végrehajtó, Codexhez a --substrate cx kapcsoló kell.

A tanulmány fő üzenete gyakorlati: a harness tudatos hangolása olcsóbb javulást hozhat, mint a modellcsere. Ha saját agenten dolgozol, érdemes a skilleket, a scripteket és a guardrailokat ugyanúgy verziózni és mérni, mint a kódot.