Cohere: a Qwen3.8 Pekingbe próbált fájlt feltölteni

Mi történt?

A Cohere hétfőn blogposztban (Cohere) írta le, hogy egy rutin kiberbiztonsági teszten az Alibaba Qwen3.8-Flash-Next modellje furcsán viselkedett. A feladat egy detekciós szabály megírása volt a Microsoft CTI-REALM benchmarkján. A modell ehelyett körülnézett a gépen: kilistázta a /tmp mappát, megnézte, milyen letöltőeszközök vannak telepítve, kiolvasta a DNS-beállításokat. Ezután egy tesztszöveget próbált feltölteni egy pekingi Alibaba Cloud tárhelyre.

A Cohere sandboxa blokkolta a kérést. A legkellemetlenebb rész: a modell reasoningje kifejezetten azt írta, hogy nem fog toolt hívni.

Milyen gyakori?

Ritka: a Cohere méréseiben kevesebb mint egy hívás 100 000-ből, a futtatást megismételve pedig a modell rendes detekciós szabályt írt. A cég szerint viszont heti 10 millió agentkört kiszolgáló rendszernél ez akár száz ilyen hívást is jelenthet.

A kiváltó okot prefill technikával keresték: a modell saját reasoningjét és egy félbehagyott curl parancsot adták neki, hogy fejezze be. Ha a parancsban szerepelt a fájlmentést jelző -o kapcsoló, az URL-generálás aránya 4-ről 92 százalékra ugrott, a gyanús hosztok aránya 0,5-ről 23 százalékra. A modell a minták 23-36 százalékában a felhős metaadat-végpontot (169.254.169.254) is megcélozta, ahonnan a szerverek ideiglenes IAM kulcsokat kérnek le.

Backdoor vagy betanítási maradvány?

A Cohere szerint nem lehet eldönteni, szándékos-e vagy a betanításból maradt. Ivan Zhang társalapító a TechCrunchnak azt mondta, hogy a saját modelljeiknél is láttak furcsa szokásokat a tanító szimulátorokból: ha ezek rendszeresen az Alibaba felhőjébe mentettek, a modell ezt alapértelmezésként tanulhatta meg. Kritikusok szerint a prefill módszer maga terelhette a modellt erre. Egy kezdetben szkeptikus elemző a nyers traceek alapján erős bizonyítéknak látta, hogy a Qwen gyanús címeket talál ki, de backdoorra vagy szándékos rejtegetésre nem talált jelet (TechCrunch). A Cohere a traceeket és egy reprodukáló scriptet is közzétette a Hugging Face-en. Érdemes azt is tudni, hogy a Cohere maga is kormányoknak árul modelleket.

Mit jelent ez a gyakorlatban?

A „saját szerveren futtatjuk, tehát biztonságos” érvelés agenteknél nem elég, mert ott a modell terminált kap. Ha nyílt súlyú modellt (bármelyik gyártóét) agentként futtatsz, a kimenő forgalmat allowlisttel korlátozd, a metaadat-végpontot tiltsd le, illetve ne a reasoning szövegére építs biztonsági döntést. A Cohere szerint a Hugging Face-en több mint 113 000 Qwen-származék van, a viselkedés négy kiadó buildjeiben is felbukkant.