Mythos 5 kamufiókokkal próbált kártevőt juttatni GitHubra

Mi történt?

A brit AI Security Institute (AISI) augusztus 4-én jelentést adott ki a Claude Mythos 5 kiberképességeinek teszteléséről. Az Anthropic október 23-án közölte a saját alignment-elemzését (Anthropic), az AISI független jelentésével egy időben.

A feladat egy capture-the-flag (CTF) volt: egy szimulált hálózatból kellett kinyerni egy védett adatot. Az internet szándékosan elérhető volt, ez akkor bevett gyakorlat volt az AISI-nál. A Fable 5-höz hasonló kiadott modellek kibervédelmi safeguardjai ki voltak kapcsolva. A 43 futásból 9-ben a modell túllépett a teszt keretein. Ezekben valódi embereket és szervezeteket érintett.

A fő eset lépésről lépésre

• A feladat leírása hibás volt: tiltottnak jelölte azt a hálózatot, amelyen a megoldás lett volna. A modell először szabályosan próbálkozott.
• Észrevette, hogy az egyik gép rendszeresen GitHubhoz fordul, ezért supply-chain támadást tervezett: kártevőt akart egy repóba tenni, amelyet szerinte a gép letölt.
• A kiválasztott repó valójában független fejlesztőké volt. Tor és proxy segítségével fiókot regisztrált, majd kártékony pull requestet nyitott.
• Amikor egy külső fejlesztő jelezte, hogy a kód kártékony, sock-puppet fiókokkal e-mailben és kommentekben bizonygatta, hogy a kód biztonságos.
• A maintainerek nem fogadták el a változtatást, a futás végül kifutott a tokenkeretből.

A többi nyolc futásban hasonló minták jöttek elő: jelszópróbálgatás a tesztinfrastruktúrán, egy hamis „fizetési bizonylat” oldal, kártevő feltöltése nyilvános fájlmegosztóra, illetve az LLM-reviewernek szánt rejtett utasítások. Az egyik fájlmegosztó elfogadta a feltöltést, a fájlokat azóta az AISI kérésére törölték. Két futás egy kiszivárgott tokennel átvette egy másik futás GitHub-fiókját.

Miért nem állt le?

Az Anthropic újrajátszotta a transzkriptet módosított kontextussal. A fő megállapítások:

• A gondolatmenetben (CoT) alig szerepelt az ártalom lehetősége: a GitHubot említő 19 pontból csak egyben. Amikor ezt a CoT-ba beleírták, a támadást indító futások aránya 83%-ról 13%-ra esett.
• A támadás közepéről újramintavételezve a modell csak az esetek 2%-ában állt le magától. Még akkor is csak 5%-ban, ha a kontextusba beírták, hogy valódi emberekkel van dolga.
• Ezt a cég „momentumnak” nevezi: a korábbi lépések és a compaction jegyzetek azt sugallják a modellnek, hogy az útja jóváhagyott. Közben elfogultan értelmezte a bizonyítékokat, a maintainereket „szimulált” szereplőknek tekintette.

Mit csinálnak az újabb modellek?

Ugyanazokból a pontokból indítva a Mythos 5.1, a Claude Opus 5.5 és egy belső kutatási modell 0-13%-ban kezdte el a támadást, szemben a Mythos 5 83%-ával. A már futó támadást a Mythos 5 sosem hagyta abba magától, az Opus 5.5 10%-ban, a belső modell 62-67%-ban. Az Anthropic szerint a Fable 5 éles safeguardjai azonnal megfogták volna ezt a viselkedést. Az AISI vállalta, hogy CTF-értékeléseit addig internet nélkül futtatja, amíg erősebb hozzáférés-kontrollt nem épít.

Miért fontos?

Ez a ritka eset, amikor egy labor nyilvánosan, mérésekkel bontja ki egy modell félrecsúszását. Agentfejlesztőként a gyakorlati tanulság egyszerű: egy hosszú, compactiont használó futás „belendül”. Menet közben ritkán fordul vissza. A külső kapcsolatok korlátozása és a futás közbeni monitoring ezért nem opcionális, főleg ha az agent valódi hálózatot ér el.