Ugrás a tartalomra
Neural Daily

EszközökHír

Responses API: 40%-kal olcsóbb, ha ráérsz 8 órát

🇬🇧 Read this article in English →

Az OpenAI Responses API-ban nyilvános bétában választható 2 vagy 8 órás befejezési ablak. A tokenár 30, illetve 40%-kal kisebb a Standardnál, cserébe a válasz nem azonnal jön. Az új modellek már Flex nélkül indulnak.

· 2 perc olvasás

Az OpenAI Developers dokumentáció borítóképe: API Docs, Background mode felirat rózsaszín és narancs háttéren
Kép: OpenAI · Képernyőkép · Forrás

Mi az új?

A Responses API háttérmódjában november 17. óta választható befejezési ablak (OpenAI). A background_options.completion_window mező értéke lehet soonest (ez az alap, kedvezmény nélkül), 2h vagy 8h. A 2 órás ablaknál a modell tokenárai 30%-kal, a 8 órásnál 40%-kal kisebbek a Standardnál (OpenAI). Az API a választott ablakon belül célozza meg a befejezést attól számítva, hogy elfogadta a kérést.

  • Támogatott modellek: GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra és GPT-6 Luna.
  • Példa: a GPT-6.2 Astra Standard ára 8 dollár input és 40 dollár output millió tokenenként, 8 órás ablakkal ez 4,80 és 24 dollár.
  • Feltétel: background: true, Standard feldolgozás (service_tier: default), streaming nélkül.
  • A 2h és 8h kérések a Batch API-val közös rate limitet használják.

Agentekhez is működik

A kedvezmény a follow-up kérésekre is jár, ami tool-hívásos folyamatoknál számít (OpenAI). Ha az első válasz például egy dokumentum lekérését kéri, a tool eredményét új kérésben küldöd vissza. Ugyanazzal az ablakkal, continuation_id-vel, modellel és projekttel a lánc magasabb prioritást kap a sorban. A continuation_id nem fűz hozzá előzményt a bemenethez, csak összeköti a kapcsolódó kéréseket.

Mire figyelj?

  • A GPT-6.2 Astrától kezdve az új modellek Flex feldolgozás (service_tier: flex) nélkül indulnak. Aki eddig Flexszel spórolt, annak ez a kiváltó út.
  • service_tier: auto mellett csak akkor jár a kedvezmény, ha az API épp a Standardot választja.
  • A 2h és 8h kérések prompt cache bejegyzéseit a normál Standard kérések nem használhatják, akkor sem, ha a prompt azonos.

Kinek éri meg?

Minden olyan feladatnak, amire senki nem vár élőben: éjszakai dokumentumfeldolgozás, reggeli ticket-összefoglaló, eval-futtatások, adatcímkézés. Eddig erre a Batch API volt a kézenfekvő, de az fájlalapú, külön job-kezeléssel. Ez a megoldás ugyanaz a Responses API hívás egy plusz mezővel, amely a tool-hívásos agent-láncokat is lefedi. A korábbi 12 órás prompt cache-sel (OpenAI API: 12 órás prompt caching a Responses API-ban) együtt a nem sürgős workloadok költsége érezhetően lejjebb vihető.

    Írta Mikola Máté Patrik

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek