Így épült a ChatGPT hirdetési rendszere: LLM-orchestrátor

Mi változott?

Az OpenAI október 21-én mérnöki blogposztban mutatta be (blogposzt) a ChatGPT hirdetési stackjét. A klasszikus hirdetési rendszer egy-egy keresésre vagy oldalmegnyitásra reagál. Egy beszélgetésben viszont a szándék több körön át alakul, ezért az OpenAI saját rendszert épített.

A központi elem egy utótanított frontier LLM, amelyet a csapat orchestrátornak hív. Agentic loopban, tool callokkal hívja meg a hirdetési rendszer részeit: a jelöltek keresését, a szűrést, a relevancia- és engagement-pontozást, végül az aukciót. Az árat és a nyertest nem az LLM dönti el, ő csak jelölteket nominál az aukciós toolnak.

A három fő tervezési döntés

• Állapottartó hirdetési session: a rendszer a beszélgetés körein és több beszélgetésen át is megjegyzi a kontextust, nem minden üzenetet kezel külön kérésként.
• Az orchestrátor a beszélgetésből rövid összefoglalókat és több keresőkifejezést ír, ezekből embedding készül, a jelölteket pedig ANN (közelítő legközelebbi szomszéd) kereséssel húzza le több indexből.
• A hirdetésválasztás külön szolgáltatásban, külön modellel és kóddal fut a válaszgenerálás mellett. Ha a hirdetési rendszer lassú vagy leáll, a ChatGPT válasza ettől nem késik.

Ha a hirdetés nem ér oda, mielőtt a válasz elkészül, egyszerűen nem jelenik meg az adott körben. Az OpenAI szerint a hirdetés nélküli válasz teljesen normális, sikeres kimenet.

Miért fontos?

Fejlesztői szemmel ez az egyik legrészletesebb nyilvános leírás arról, hogyan lehet egy LLM-et éles, nagy forgalmú döntési folyamat vezérlőjeként használni úgy, hogy a kritikus lépések (ár, aukció, szabályok) determinisztikus toolokban maradjanak. A minta máshol is használható: az LLM értelmez és orchestrál, a pénzügyi vagy szabályozott döntést egy külön tool hozza meg.

Érdekes a kiértékelés is: a legerősebb modellek pontozzák a rendszer kimenetét, és ebből tanítják a kisebb, olcsóbb orchestrátor- és retrieval-modelleket. Az OpenAI szerint a rendszert Codexszel építették, és a ChatGPT Ads kevesebb mint 200 nappal az indulás után elérte az évesített 1 milliárd dolláros bevételi ütemet, több mint 100 ezer hirdetővel.

Mire figyelj?

A posztban nincs késleltetési adat, modellméret vagy pontos timeout-érték, így a teljesítményről csak az OpenAI saját állításai szólnak. Ha agentic rendszert tervezel, a külön szolgáltatásba szervezett, opcionális mellékág és a "nincs eredmény is jó eredmény" elv két könnyen átvehető ötlet.