agent-desktop: computer use képernyőkép helyett, nyíltan

Mi ez?

Az agent-desktop nem agent, hanem egy tool, amit az agent hív meg. Rust CLI és C library, nincs benne LLM, nincs GUI. Minden parancs egyetlen JSON választ ír ki, majd kilép. Az observe, act, verify ciklus az agentnél marad. Az 1.0.2 október 30-án jelent meg, macOS 13+, Windows 10 1809+ és Ubuntu 24.04+ rendszeren fut, x64-en és ARM64-en, GPU nélkül.

Miben más?

A modellekbe épített computer use toolok (Claude, OpenAI) screenshotokból és pixelkoordinátákból dolgoznak. Az Anthropic dokumentációja szerint egy screenshot nagyjából 1000 és 1800 közötti input tokenbe kerül. Az agent-desktop ezzel szemben strukturált snapshotot ad: minden kattintható elem kap egy hivatkozást (ref), az agent ezekre hivatkozva cselekszik.

• Szigorú refek: ha a UI megváltozik, STALE_REF hibát kap az agent, ilyenkor új snapshotot kér. Tippelés nincs, a rendszer fail closed módon áll meg.
• Skeleton mód: sűrű appoknál csak 3 szint mélységig olvas, a fejlesztő szerint Slacken, VS Code-on és Notionön 78 és 96% közötti tokenspórolással. Apple Mapsben egy nézet 3811 helyett 273 token.
• Háttérben fut: a ref-akciók nem mozgatják a kurzort, nem veszik el a fókuszt, közben nyugodtan használhatod a gépet. Több agent párhuzamosan is dolgozhat.

A számok a fejlesztő saját mérései, független computer use benchmark még nincs (MarkTechPost).

Kinek jó?

Annak, aki már Claude Code, Codex vagy más CLI agent mellett natív appokat is automatizálna. Telepítés: npm install -g agent-desktop. macOS-en Accessibility engedély kell, Windows-on alapból nem. Az agent a beépített skill-dokumentációból tanulja meg a használatát. A megközelítés józan: ha az OS már tudja, mi van a képernyőn, nem kell pixelekből kitalálni.