OpenAI хранит prompt cache 24 часа по умолчанию: влияние GPT-5.5 на API routing

29 мая 2026 года OpenAI тихо изменила поведение extended prompt cache retention для организаций, использующих GPT-5.5, GPT-5.4, GPT-5.2 и другие модели серии GPT-5. Для организаций без включённого Zero Data Retention (ZDR) значение prompt_cache_retention теперь по умолчанию равно 24h, а не in_memory. Для GPT-5.5 и будущих моделей 24h — это единственный поддерживаемый режим; опция in_memory больше недоступна.

Если вы маршрутизируете трафик к OpenAI через AI gateway и ещё не оценили, как это изменение влияет на вашу политику обработки данных и cost model, лучше разобраться сейчас, чем столкнуться с неожиданностью в счёте.

Что такое extended prompt cache retention

Prompt cache OpenAI автоматически срабатывает для промптов от 1 024 токенов и направляет API-запросы на машины, которые недавно обрабатывали идентичный префикс промпта, — чтобы избежать повторного prefill. Исходная реализация использовала политику in_memory: кэшированные префиксы жили 5–10 минут в режиме ожидания, не более часа, исключительно в волатильной памяти GPU.

Extended retention (до 24 часов) позволяет хранить key/value тензоры значительно дольше — их выгружают в локальное GPU-хранилище при нехватке памяти. Важно: на диск попадают только KV-тензоры — текст исходного промпта никогда не записывается в хранилище и остаётся только в памяти. OpenAI явно позиционирует это как оптимизацию эффективности хранения, а не изменение политики персистентности данных.

Стоимость cache hit одинакова для обеих политик. Переход к дефолтному 24h призван улучшить hit rate при запросах, растянутых на часы, — не на минуты.

Какие модели затронуты

При включённом ZDR дефолт для старых моделей остаётся in_memory. Для GPT-5.5 и новее даже ZDR-организации получают только 24h — переопределить нельзя.

Почему это важно для операторов API роутинга

Extended cache retention меняет cost-модель на уровне gateway или мультитенантного оператора по двум направлениям.

1. Hit rate значительно растёт для пакетных и периодических нагрузок. Agent-пайплайны, batch evaluation, плановые отчёты — все они переиспользуют один и тот же системный prompt prefix в множестве запросов, но нередко растягивают их на часы, а не минуты. При политике in_memory кэш был «холодным» к моменту второй волны. С 24h prefix остаётся актуальным весь день. Для нагрузок с длинными, стабильными системными промптами и нерегулярным ритмом запросов это реально снижает стоимость входных токенов — OpenAI заявляет до 90% экономии на cache hit и до 80% снижения задержки.

2. Параметр prompt_cache_key становится более ценным. Кэширование OpenAI маршрутизирует запросы по хэшу начального префикса промпта (примерно первые 256 токенов). Когда объём запросов на одну и ту же комбинацию prefix и prompt_cache_key превышает примерно 15 запросов в минуту, часть запросов уходит на другие машины, снижая эффективность кэша. prompt_cache_key в конфигурации gateway или SDK позволяет повлиять на роутинг и улучшить hit rate. С 24-часовым хранением грамотно подобранный ключ помогает держать кэш тёплым весь день.

3. Дата-чувствительным тенантам нужна явная конфигурация. Если вы управляете мультитенантным API proxy и у части клиентов есть жёсткие требования к хранению данных, нужно явно выставлять prompt_cache_retention: in_memory на тех моделях, которые ещё поддерживают этот режим. Для GPT-5.5 и новее in_memory не сработает — маршрутизируйте таких тенантов на модели с коротким окном или оформляйте для них ZDR.

Что настраивать на уровне gateway

Для операторов, использующих AI gateway для роутинга к Responses API или Chat Completions API OpenAI:

{
  "model": "gpt-5.5",
  "input": "...",
  "prompt_cache_retention": "24h"
}

Для non-ZDR организаций это уже дефолт; явная передача делает намерение понятным и защищает от будущих изменений политики.

Для тенантов, которым нужна минимальная продолжительность кэша на моделях, ещё поддерживающих in_memory:

{
  "model": "gpt-5.4",
  "input": "...",
  "prompt_cache_retention": "in_memory"
}

Параметр prompt_cache_key доступен в Responses.create (и chat.completions.create) и стабилизирует кэш-роутинг, когда многие тенанты используют один длинный системный промпт:

{
  "prompt_cache_key": "tenant-shared-system-v12"
}

На что обратить внимание

OpenAI уточняет, что дефолт 24h применяется к GPT-5 «для организаций без ZDR». По мере выхода новых поколений моделей опция in_memory, судя по всему, будет и дальше сужаться или исчезнет полностью. Операторам, строившим cost-модели с расчётом на короткое окно кэша, стоит пересмотреть прогнозы — преимущество кэширования теперь структурное, а не ситуативное.

Смотрите также

Используйте TheRouter как policy layer перед OpenAI, когда команде нужен один OpenAI-compatible endpoint, единый биллинг и tenant-aware routing. Перед изменением production-дефолтов проверьте настройку OpenAI provider и quickstart. После rollout отслеживайте cached_tokens, latency, зависящую от cache hit, и исключения по data policy для тенантов; без этих трёх проверок дефолт 24h остаётся гипотезой о стоимости, а не операционным контролем.