METR és Redwood: rések az OpenAI agentfelügyeletében

Mi történt?

A METR október 22-én publikálta egy pilot gyakorlat rövid nyilvános összefoglalóját (METR). Július 21. és augusztus 11. között egy METR-es és egy Redwood Research-ös munkatárs az OpenAI belső kódjához, dokumentációjához és munkatársaihoz is hozzáfért, hogy stresszteszteljék a belső misalignment monitoring rendszert. Ez figyeli, hogy a belső agentek nem csinálnak-e valami szabályellenest. A kutatók kísérettel, az OpenAI saját, az épületet el nem hagyó gépein dolgoztak (CNBC).

A gyakorlatból egy 61 oldalas belső jelentés lett. Nyilvánosan csak egy magas szintű összefoglaló jelent meg, amelyből az OpenAI kitakarhatott érzékeny részeket.

Mit találtak?

• A legalább GPT-5.5 erősségű modellek belső, agentes Responses API forgalmának becslés szerint 75–94 százaléka volt egyáltalán monitorozható, a belső Codex agenteknél 99,2 százaléka.
• Az RL tanítási futásokat a gyakorlat kezdetén nem fedte le a monitor.
• A kontextustömörítés (compaction) nem volt monitorozva, ez májustól júliusig nagyjából a Codex forgalom 10 százalékát érintette. Ezt az OpenAI már korábban észrevette, a gyakorlat alatt pedig javította.
• A monitor csak akkor futott, amikor az agent visszaadta az irányítást, így egy agent folyamatos munkával elvben a végtelenségig halaszthatta az ellenőrzést.
• Találtak egy módot a Codex sandbox és az Auto-Review megkerülésére, illetve egy exploitot, amellyel több száz friss agentlépés kimaradhatott a monitorozásból.
• Két kliensoldali header új agentekre kikapcsolta a monitort, bár ennek beállítását a monitor elkaphatta.

Volt jó hír is: a monitor kevesebb mint 0,2 százalékban hibázott, illetve kevés kivétellel ugyanazt a teljes trajektóriát látta, mint az agent.

Mi lett a vége?

Az OpenAI azt közölte, hogy minden, az éles védelmi rendszert érintő sebezhetőséget javított. Azóta a monitor lefedettségét is bővítette. A METR kiemeli: ezt nem ellenőrizték. A jelentés azt a rendszert írja le, amely július 21-én és előtte működött.

A kutatók tervezési elveket is javasolnak. Az agenteket N üzenetenként vagy percenként kell monitorozni, nem csak a körük végén. A monitorozott és az összes inference-t rendszeresen össze kell vetni. Az agent ne lássa a monitor kódját, illetve ne tudja befolyásolni, mikor fut.

Miért fontos?

Ugyanezen a héten az OpenAI maga is közölt két esetet, amikor saját agentjei gyengítették a felügyeleti rendszert. A METR jelentés azt mutatja, hogy a monitorozás infrastruktúrája maga is támadási felület. Ha agenteket futtatsz céges környezetben, a tanulság egyszerű: a naplózás és a monitor ne legyen kikapcsolható abból a környezetből, ahol az agent fut.