OpenAI API: 12 órás prompt caching a Responses API-ban

Mi változott?

Az OpenAI október 20-án új opciót adott a Responses API-hoz (changelog). A GPT-5.6 és újabb modelleknél a prompt_cache_options.ttl mező értéke "30m" (alapértelmezett) vagy "12h" lehet. Ez a minimális élettartam, ameddig a már feldolgozott prompt-előtag cache-ben marad.

• 30 perces cache: az írás az alap input ár 1,25-szöröse.
• 12 órás cache: az írás az alap input ár 2,5-szöröse.
• Az olvasás ára mindkét esetben ugyanaz: a dokumentáció szerint a legtöbb modellnél 0,1-szeres, a GPT-6.1 Solnál 0,05-szörös.
• Egy kérésen belül keverhető a kettő: a prompt_cache_breakpoint.ttl breakpointonként felülírja a kérés szintű beállítást.

Mikor éri meg?

Ha egy hosszú, stabil előtagot (system prompt, tool-séma, dokumentáció) óránként csak néhányszor hívsz meg, a 30 perces cache közben lejár, így minden alkalommal újra írási díjat fizetsz. A 12 órás opcióval egyszer fizeted a drágább írást, utána egész nap olvasási áron megy. Sűrűn ismétlődő agent-lépéseknél viszont a 30 perces is elég, és olcsóbb.

A gyakorlati minta a dokumentációból: a napközben újrahasznált anyag kerüljön a prompt elejére 12 órás breakpointtal, a gyorsan változó session-kontextus kapjon 30 percet, az aktuális kérdés pedig az utolsó breakpoint után jöjjön, így arra nem kell írási díjat fizetni.

Amire figyelni kell

A 12 óra minimum, nem törlési határidő, és nem garantál cache-találatot. Nem módosítja az adatmegőrzési szabályokat sem. A régebbi modellek továbbra is a prompt_cache_retention paramétert használják, nem támogatott értékre pedig 400 invalid_request_error jön vissza. Belső agenteknél, ahol ugyanaz a hosszú instrukció fut végig a napon, érdemes kiszámolni, hány hívás után térül meg a dupla írási ár.