Breken: szintetikus felhasználókkal keres hibát

Mi ez?

Bemutatkozott a breken, amely „éles üzem az éles üzem előtt” szlogennel hirdeti magát (breken). A rendszer a saját gépein újraépíti a teljes szoftvert, a külső szolgáltatásokat pedig izolált környezetben válaszolja meg. Négyezerszeres sebességgel növeszt rá éles állapotot: fiókokat, rekordokat, félbehagyott munkákat.

Hogyan működik?

• Szintetikus felhasználók és agentek használják a terméket: türelmetlen adminok, két fülön dolgozó felhasználók, inboxból visszatérítést intéző agentek. Mindegyiknek van szándéka, szokása és véges türelme.
• Minden elvárt viselkedésből hipotézis lesz. A breken egyszerre egy feltételt változtat: újrapróbálkozást, elveszett választ, óraugrást vagy munka közbeni deployt.
• Csak az számít hibának, ami minden futásnál előjön, egy soha el nem bukó kontrollfutással szemben. Ilyenkor pontos állapotot, trace-t és draft pull requestet ad.

Mit mutat a benchmark?

A cég saját ESCAPES benchmarkja 33 nyílt forrású termék 327 valós, felhasználók által jelentett hibájára épül (breken benchmark). A rendszereket a 2026. július 1-jei kódon futtatták, ekkor 235 hiba már benne volt. A breken ebből 76-ot talált meg (32%), 61-et futtatással is igazolt, 20 téves riasztás mellett.

Összehasonlításként a Claude Code-ban futó Claude Fable 5.1 37 hibát talált 59 téves riasztással. A Codex CLI-ben futó GPT-6 Astra 28-at, a Semgrep szabályai 9-et.

Miért fontos?

A breken szerint a kikerült hibák 71%-a csak futó terméken jön elő: valós adattal, több felhasználóval, kieső partnerrel vagy az idő múlásával. Ezeket kódolvasással nehéz elkapni, ezért a code review agentek mellé futtatásalapú tesztelés is kell. Fontos fenntartás, hogy a benchmarkot a breken maga készítette, független mérés még nincs.