EszközökHír
Gemini Macen: computer use háttérablakban
🇬🇧 Read this article in English →
A Gemini Mac-alkalmazása november 19-től kattint, gépel és űrlapot tölt a helyi appokban és a weben. Külön háttérablakban dolgozik, így a saját képernyőd szabad marad. Egyelőre csak az USA-ban, angolul, előfizetőknek.
· 3 perc olvasás

Mi jelent meg?
A Google november 19-én bevezette a computer use funkciót a Gemini Mac-alkalmazásában (Google). Leírod a feladatot, a Gemini pedig menükben navigál, gépel, kattint és űrlapokat tölt ki a helyi fájlokon, az asztali alkalmazásokon és a weben keresztül.
A lényeg, hogy nem a te képernyődet veszi át. Egy elkülönített háttérablakban (virtuális képernyőn) dolgozik, ennek élő előnézetét a chatben látod. Közben a saját egereddel és billentyűzeteddel nyugodtan dolgozhatsz tovább.
Hogyan működik?
- A Task módban a promptba írt @Computer use említéssel indul.
- Te döntöd el, melyik appokhoz férhet hozzá, egy kattintással leállítható, a fontos lépések előtt jóváhagyást kér.
- Bejelentkezésnél és fizetésnél megáll, érzékeny műveletnél megerősítést kérhet.
- Kell hozzá az Accessibility, illetve a Screen & System Audio Recording engedély. Bekapcsolható az igény szerinti fájlmentés, ekkor módosítás előtt biztonsági másolatot készít (
- [object Object]
- ).
- A 9to5Google szerint a Connectors között új asztali appok is megjelentek, például a Blender és az Autodesk Fusion, a meglévő Git és Obsidian mellett (
- [object Object]
- ).
A Google példái: fotók kötegelt színkorrekciója egy grafikai programban, súlyok és címek kiszedése helyi PDF-ekből egy szállítási ajánlatkérő űrlapba, dashboardok adataiból Google Slides prezentáció, illetve ruhafotókból eladási hirdetések előkészítése.
Ki használhatja?
Egyelőre angolul, az Egyesült Államokban, Google AI Plus, Pro és Ultra előfizetőknek, 18 év feletti, személyes Google-fiókkal. Apple Silicon Mac és macOS Sequoia 15.0 vagy újabb kell hozzá. Munkahelyi és iskolai fiókokkal nem működik, Magyarországon tehát most még nem érhető el.
A Google saját kockázati listája
A súgóoldal szokatlanul őszintén sorolja a veszélyeket (Gemini Apps Help):
- A Gemini hozzáfér a natív appokban bejelentkezett fiókokhoz és aktív sessionökhöz, nem csak a böngészőhöz.
- Egy appban megjelenő megbízhatatlan tartalom ráveheti, hogy átlépjen egy másik engedélyezett appba és ott cselekedjen. Ez klasszikus prompt injection, csak most az egész asztalon.
- Ha kódszerkesztőt vagy fejlesztői eszközt engedélyezel neki, azzal shell-végrehajtást és szélesebb fájlrendszer-módosítást is adhatsz.
- Elolvashatja a képernyőn látható MFA-kódokat, például egy üzenetküldő appban.
- Egyes műveletek az adott app miatt visszafordíthatatlanok, a mentés sem véd mindig.
Miért érdekes?
Az asztali computer use eddig főleg fejlesztői és vállalati agenteknél volt jellemző (OpenAI: computer use agentek az egészségügyben). A háttérablakos megoldás gyakorlati probléma oldása: nem kell nézned, ahogy az agent elveszi az egeredet. A kockázati lista viszont jól mutatja, hogy egy ilyen agent jogosultsága nagyjából a felhasználóé. Ha kipróbálod, csak a feladathoz tényleg szükséges appokat engedélyezd. A terminált és azt az appot, ahová az MFA-kódjaid jönnek, ne add oda neki.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk


