OpenAI Decisions API: gyors, olcsó döntések GPT-6 Lunával

Mi változott?

Az OpenAI október 22-én általánosan elérhetővé tette a Decisions API-t (OpenAI). Ez nem szöveget generál: megadsz egy kérdést és a megengedett válaszokat, a kontextust szövegként, képként vagy JSON-ként. Válaszul egy strukturált döntést kapsz. A GPT-6 Lunára épül, az OpenAI szerint akár tízszer gyorsabb, mint ugyanez a Luna a Responses API-n keresztül.

Mi új a béta óta?

• Natív GPT-Live integráció: hangos beszélgetés közben is futtathatsz döntést, a session.triggers beállításon keresztül.
• Prompt caching az újrahasznált kontextusra.
• Inference residency az USA-ban és az EU-ban.
• Natív JSON input, illetve kép a kérdés instrukciójában.
• Kérésenként legfeljebb 400 kérdés, a korábbi limit kétszerese.

Három választípus

• predicate: 0 és 1 közötti valószínűség arra, hogy egy feltétel igaz (például sérült-e a termék a képen).
• choice: a megadott opciók egyike, mellé valószínűségek és confidence (például folytassa, próbálja újra vagy kérdezzen vissza az agent).
• score: rubrika szerinti pontszám, a szintek valószínűséggel súlyozott átlaga (például mennyire súlyos a kár).

Ár és ügyfélszámok

Millió input tokenenként 0,10 dollár, cache-ből 0,01 dollár. Output tokenért nem kell fizetni. Zero Data Retention a jogosult ügyfeleknek elérhető. Az OpenAI által idézett ügyfelek: a Datadog 40-szer gyorsabb p95-öt mért hasonló pontosság mellett, a Sierra 280 ms alatti p95-öt és 90 százalékkal kisebb hívásonkénti költséget, a Ramp négyszeres gyorsulást 30 százalékkal kisebb költséggel. Ezek a cégek saját mérései, független benchmark egyelőre nincs.

Miért fontos?

A döntési modellek kategóriája eddig a startupoké volt (Jev, Liquid d1, Perplexity Decider, Baseten mammoth-1), most az OpenAI is beszállt, olyan áron, ami alányúl a kis modelleknek. Ha az agentedben sok apró routing vagy osztályozó hívás fut teljes LLM-mel, érdemes egy ismétlődő döntést átrakni ide, majd a saját adatodon lemérni.