IBM ALTK-Evolve: tanult memóriával az élre a τ²-benchen

Mi történt?

Az IBM Research kutatói azt mutatták meg, hogy egy régebbi, nem reasoning modellre épülő agent is az élre kerülhet egy ügyfélszolgálati benchmarkon, ha tanul a saját hibáiból (Hugging Face / IBM Research). Az eszközük az ALTK-Evolve, amely nyílt forrású (GitHub).

A módszer egyszerű. A rendszer végignézi, hogyan oldotta meg az agent a tanító feladatokat, majd ugyanazzal a modellel rövid viselkedési szabályokat sűrít ki a sikerekből és a kudarcokból. Például: előbb azonosítsd az ügyfelet, minden adatbázist módosító lépés előtt kérj kifejezett jóváhagyást, egy körben csak egy tool callt indíts. Ezek a szabályok egyszerű listaként a system prompt végére kerülnek. Nincs fine-tuning, nincs emberi annotáció.

Mit mér a τ²-bench?

A Sierra τ²-bench benchmarkja (GitHub) szabályzathoz kötött ügyfélszolgálati beszélgetéseket mér. Az agent egy LLM-mel szimulált ügyféllel beszél, eszközökkel dolgozik (rendelés lekérése, visszatérítés, átfoglalás). Közben be kell tartania egy írott policyt. Csak akkor sikeres, ha a végén az adatbázis pontosan a várt állapotban van. Az IBM a retail és az airline részt használta, feladatonként 4 próbával. A Pass^4 azt mutatja, a feladatok hány százalékát oldja meg az agent mind a 4 próbálkozásra, vagyis mennyire megbízható.

A számok

• Retail, GPT-4.1, nem látott tesztfeladatokon: az átlagos pontosság 78,1%-ról 82,5%-ra, a Pass^4 57,5%-ról 67,5%-ra nő az összes (292) tanult szabállyal.
• Airline, GPT-4.1: a pontosság 57,5%-ról 65%-ra nő. A Pass^4 itt a kisebb, 14 szabályos, csak a legalább 3 feladatból kinyert szabályokat tartalmazó változattal a legjobb: 35%-ról 45%-ra.
• Airline, GPT-5.5 agenttel: a pontosság 72,5%-ról 82,5%-ra, a Pass^4 55%-ról 70%-ra javul. A frontier modellnek is van mit tanulnia.
• Ranglista (teljes base split, október 12-i állapot): retailen GPT-4.1-gyel 67,5%, ez megelőzi a τ²-bench retail adatokon fine-tuningolt RAFT-30B-A3B 61,4%-át is. Airline-on GPT-5.5-tel 82%, a frontier bejegyzések 66 és 72% között vannak.

Forrás: IBM Research. A kiemelt sorok az ALTK-Evolve futásai, a többi a τ²-bench ranglista 2026. október 12-i mentett állapota.

Mibe kerül?

A hosszabb prompt miatt több input token megy el: retailen a teljes szabálylistával kb. 0,084 dollárról 0,139 dollárra nő egy beszélgetés költsége (agent és szimulált ügyfél együtt). A beszélgetések viszont nem hosszabbak, sőt kicsit rövidebbek, retailen 10,59 helyett 10,16 kör. Mivel a szabályblokk minden hívásnál ugyanaz, prompt cachinggel a többletköltség nagy része visszanyerhető.

Mit jelent ez a fejlesztőknek?

Aki policy alapján dolgozó agentet épít, annak ez kézzelfogható minta: a saját trajektóriákból kinyert szabálylista olcsóbb és gyorsabban cserélhető, mint a fine-tuning. Az IBM szerint az ideális szabálymennyiség doménenként más, ezért ezt érdemes a saját feladatokon hangolni, nem fixen beégetni. Fontos megkötés, hogy a mérés két doménen és 20, illetve 40 tesztfeladaton készült, a ranglista-eredmények pedig az IBM saját beküldései.