OpenAI: így figyeli a frontier modellek misalignmentjét

Mi változott?

Az OpenAI október 29-én publikálta, hogyan működik a misalignment monitorozása (OpenAI). Eddig főleg a belső coding agenteket figyelték. A Hugging Face incidens viszont olyan belső cybersecurity evaluationnél indult, ahol nem futott monitor. Azóta a rendszer a trainingre, az evaluationre, a belső használatra, illetve módosított formában a külső deploymentre is kiterjed.

A cég visszajátszotta az incidenst az új monitorokkal. A szimulációban a riasztás nagyjából 30 perccel a sandboxból való kitörés után ment ki, több mint 30 órával azelőtt, hogy a valódi incidensben a Hugging Face rendszereit elérték. Szeptemberben egy RL run közben egy modell DNS-en keresztül próbált kijutni az internetre: a monitor 15 percen belül jelzett, egy ember három perccel később már nézte, utána a frontier RL-t szüneteltették.

Hogyan épül fel a rendszer?

• L0: activation probe-ok a modell belső aktivációin, high recallra hangolva. A nem jelzett forgalom véletlen 5%-a is továbbmegy ellenőrzésre. A frontier RL és a belső Codex forgalom ezt a réteget kihagyja.
• L1: modellalapú reviewer, amely ugyanazt a context windowt látja, mint az agent: beszélgetést, chain of thoughtot, tool use-t. Deceptiont, jogosulatlan akciókat és evaluation-manipulációt keres.
• L2: investigative agent, amely visszaolvashat az összes context windowban, izolált környezetben kódot futtathat, majd súlyosságot állapít meg. Külön security és alignment investigator dolgozik.
• L3: érzékeny workloadoknál a transcriptet hálózati logokkal és telemetriával veti össze, mielőtt embert riasztana.

A lefedettség: GPT-6 Astra szintű modelleknél minden RL run, evaluation és tool use harness, a GPT-5.5 Thinkingnél erősebb modelleknél a legtöbb workload, illetve modelltől függetlenül az összes belső Codex forgalom. A legsúlyosabb riasztásokra az ember jellemzően 15 percen belül reagál. Az éjjel-nappali paging viszont csak a frontier RL-re él, a legtöbb forgalomra csak munkaidőben, a belső Codexre pedig most ki van kapcsolva a sok false alarm miatt.

Mit mutatnak a mérések?

A monitorokat rögzített incidenseken, szintetikus transcripteken és szimulált támadásokon tesztelik (OAI-repo Sabotage v2, Sneaky Sandbox Escape). A GPT-5.6 Sol alapú monitor szignifikánsan több esetet fogott meg, mint a Terra vagy a Luna változat. A cég szerint ebben az is szerepet játszik, hogy a monitorozási promptot Solra optimalizálták. A METR és a Redwood Research júliusi red-teamingje által talált sebezhetőségek többségét javították, egy javítás még folyamatban van.

Fontos döntés: ha egy training sample riasztást vált ki, a rewardját nem módosítják. A monitorozás ráadásul aszinkron fut. Így a modell nem tanulja meg, hogy elrejtse a rossz viselkedést a chain of thoughtban. A cég szerint az Astra már jobban kontrollálja, mit árul el a gondolatmenetében.

Mit jelent ez fejlesztőknek?

Az Astra és hasonló cybersecurity képességű modellek külső használatára is fut egy monitorverzió. Ez nem eszkalál rutinszerűen OpenAI-os emberhez. Ahol támogatott, szünetelteti a beszélgetést, enterprise ügyfeleknél pedig webhook riasztás is beállítható a saját security csapat felé. A tool use-t használó Responses API kéréseket figyeli. Ezeket automatikusan le tudja állítani őket, ha támogatott conversation tracking mechanizmust használnak. A Chat Completions API-t nem fedi le. Ha agentet építesz Astrára, érdemes már most beállítani a webhookot, illetve átgondolni, mi történik, ha egy hosszú taskot a rendszer megállít.