Claude Sonnet 5 agent végzett agyi injekciót élő egéren

Mi történt?

A San Franciscó-i Exin Therapeutics epilepszia és neurodegeneratív betegségek gyógyszerein dolgozik. A csapat egy egyedi sebészeti rigre kötötte az agentet: az egeret motoros eszköz rögzítette, a kamerán át az agent látta a beavatkozást, mozgatta a tűt, illetve szabályozta a vegyület adagolását (WIRED).

A koponyanyitást állatorvos sebész végezte, az agent ezt figyelte. Ezután 19 lehetséges génterápiából választott, meghatározta az agyterületet és a koordinátákat, majd ő irányította a robotkarokat, a térfogatot és a sebességet. A cél annak tesztelése, csökkenti-e a terápia az epilepsziás rohamokat.

Miért tagadta meg az Opus?

Először a Claude Opus 5.5-tel próbálkoztak. A tervezést elvégezte, de az injekciónál megállt, mondván, valami a kimenetében azt jelzi, hogy ezt nem kellene megtennie. A csapat ezután a Claude Sonnet 5-re váltott, amely vállalta a feladatot. Az Anthropic nem reagált a WIRED megkeresésére.

Milyen biztosítékok voltak?

• Az agentnek injekciós tervet kellett javasolnia, amit ember hagyott jóvá.
• Egy vészgomb lekapcsolta a rig motorjait.
• Az agent nem férhetett hozzá a vezérlőkódhoz, hogy ne módosíthassa a saját működési szabályait.

Egy technikai hiba miatt elcsúszott a koordinátarendszer. Az agent felismerte, hogy a kiszámolt pozíció rossz, de nem javította a kódot, mert az utasításai ezt tiltották. Egy külön, Opus 5-ön futó agent írta át, neki viszont nem mondták meg, hogy éppen élő műtét zajlik. Egy ilyen beavatkozás általában 45 perc, ez valamivel több mint egy óráig tartott.

Mit jelent ez?

A kísérlet szépen mutatja a tiltások és a hasznosság közti feszültséget: ugyanaz a szabály, ami véd, élesben meg is akaszthatja a munkát. Az Exin legközelebb a Grokot és más modelleket is teszteli, illetve agent által végzett koponyanyitással is kísérletezik, de élő műtét előtt a biztonságot akarják garantálni. A cég vezetője szerint az emberi felügyelet kulcsfontosságú. Embernél ilyesmiről még szó sem lehet.