Ugrás a tartalomra
Neural Daily

KutatásHír

NBER: az AI agentek több kódot írnak, nem több release-t

🇬🇧 Read this article in English →

Egy több mint 500 ezer GitHub fejlesztőt követő NBER tanulmány szerint az autonóm coding agentek 240%-kal növelik a commitok számát, a kiadott release-ek száma viszont csak 30%-kal nő. A szűk keresztmetszet az ember.

· 2 perc olvasás

Laptop képernyőjén kódszerkesztő Python kóddal, sötét szobában kék fényekkel
Kép: Pexels / Nemuel Sereti · Pexels · Forrás

Mit vizsgáltak?

Mert Demirer, Leon Musolff és Liyuan Yang NBER working paperje több mint 500 ezer GitHub fejlesztő aktivitását vetette össze AI használati telemetriával (NBER). Három eszközgenerációt hasonlítottak össze: autocomplete, interaktív coding agent és autonóm coding agent. A tanulmány májusban jelent meg, szeptemberben frissítették, a napokban került újra a szakmai viták középpontjába.

A számok

  • Commitok: autocomplete +30%, interaktív agent +180%, autonóm agent +240% kumulált hatás.
  • Az autonóm agenteknél a 240% a projektek számában már csak +80%, a tényleges release-ekben +30%.
  • Négy nagy szoftverpiacon (app store) meredeken nőtt az új appok száma, az összes használat viszont nem.

A szerzők ezt a weak-link hipotézissel magyarázzák: az AI-val elért nagy feladatszintű nyereséget a termelési lánc emberi szűk keresztmetszetei fogják vissza. Becslésük szerint az AI és az emberi munka közötti helyettesítési rugalmasság 0,23, ami erős komplementaritást jelent. Magyarul: az AI nem váltja ki, hanem igényli az emberi munkát a lánc többi pontján (NBER PDF).

Mire figyelj az értelmezésnél?

Ez working paper, nem lektorált publikáció. Két szerző a közzététel szerint fizetett kutatási tanácsadó a Microsoftnál, ami a GitHub tulajdonosa. A commit szám önmagában gyenge mérőszám: egy agent sok apró commitot is gyárthat. Pont ezért erős a tanulmány üzenete, hogy a release és a tényleges használat szintjén mérik a hatást.

Mit jelent a gyakorlatban?

Ha a csapatod agentekkel dolgozik, a gyorsulás valószínűleg nem a kódírásban akad el, hanem a review-ban, a tesztelésben, a döntésekben és a kiadási folyamatban. A METR szerint az agentek által megoldható feladatok hossza 3,6 havonta duplázódik (METR: 3,6 havonta duplázódik az AI agentek horizontja), ez a rés tehát nőni fog. Érdemes a release ciklusidőt és a review terhelést mérni, nem a commitokat vagy a megírt sorokat.

    Írta Mikola Máté Patrik

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek