OpenAI 提示缓存默认保留 24 小时：GPT-5.5 与 API 路由影响

2026 年 5 月 29 日，OpenAI 悄然调整了 GPT-5.5、GPT-5.4、GPT-5.2 及 GPT-5 系列其他模型的扩展提示缓存保留策略。对于未启用零数据保留（ZDR）的组织，prompt_cache_retention 的默认值已从 in_memory 变更为 24h。对于 GPT-5.5 及后续模型，24h 是唯一支持的保留模式，in_memory 选项已不再可用。

如果你通过 AI 网关将流量路由至 OpenAI，且尚未评估此变化对数据策略和成本模型的影响，建议现在花几分钟了解，而非等到账单出现异常时再处理。

扩展提示缓存保留期的实际含义

OpenAI 的提示缓存会在提示达到 1,024 个 token 或以上时自动生效，通过将 API 请求路由至近期处理过相同提示前缀的机器来运作，避免重复的预填充计算。原有实现采用 in_memory 策略：缓存前缀在非活跃状态下保存 5–10 分钟，最长一小时，仅存于易失性 GPU 显存中。

扩展保留（最长 24 小时）通过在内存压力升高时将键值（KV）张量卸载至 GPU 本地存储，使缓存存活更长时间。关键点在于：仅 KV 张量会被持久化到存储层——原始提示文本始终只保留在内存中，不会写入磁盘。OpenAI 明确将此定位为存储效率优化，而非数据持久化策略的调整。

两种策略下的缓存命中定价保持不变。将 24h 设为默认值，是为了提高跨小时级别请求峰值的缓存命中率，而非按分钟计算。

哪些模型受影响，以及影响方向

如果你的组织已启用 ZDR，旧版模型的默认值仍为 in_memory。ZDR 组织默认使用较短的窗口，以限制缓存张量的持久化范围。但对于 GPT-5.5 及更新模型，即使是 ZDR 组织也只能使用 24h，无法覆盖此设置。

对 API 路由运营商的影响

扩展缓存保留从两个维度改变了网关或多租户运营商层面的成本测算：

1. 突发或定时工作负载的缓存命中率显著提升。 AI Agent 流水线、批量评估任务和定时报告生成通常会在多个请求中复用相同的系统提示前缀——但这些请求往往分散在数小时内，而非几分钟内集中发送。在原有的 in_memory 策略下，第二批次请求到达时缓存早已过期。采用 24h 策略后，前缀全天保持预热状态。对于系统提示较长且请求节奏不规律的工作负载，这将显著降低有效输入 token 成本——OpenAI 给出的数据是缓存命中时最高可节省 90% 的成本，延迟最多降低 80%。

2. prompt_cache_key 参数的价值提升。 OpenAI 的缓存基于提示初始前缀的哈希值（约前 256 个 token）进行请求路由。当同一前缀与 prompt_cache_key 组合的请求量超过约每分钟 15 次时，超出部分会路由至其他机器，降低缓存效果。在网关或 SDK 配置中设置 prompt_cache_key 可以影响路由决策，提高高并发前缀的命中率。结合 24 小时保留期，合理选择的缓存键可以让缓存全天保持有效。

3. 数据敏感租户需要显式配置。 如果你运营多租户 API 代理，且部分租户有严格的数据驻留或持久化要求，则需要在仍支持两种选项的模型上为这些租户逐请求显式设置 prompt_cache_retention: in_memory。GPT-5.5 及后续模型不会响应 in_memory 请求——对于此类租户，应将其路由至仍支持短窗口保留的模型，或为相应组织申请 ZDR。

网关层的配置建议

对于使用 AI 网关路由至 OpenAI Responses API 或 Chat Completions API 的运营商，可操作的变更如下：

{
  "model": "gpt-5.5",
  "input": "...",
  "prompt_cache_retention": "24h"
}

对于非 ZDR 组织，这已是默认值；显式传入可使意图更清晰，并防范未来策略变更带来的不确定性。

对于希望在仍支持内存保留的模型上最小化缓存时长的租户：

{
  "model": "gpt-5.4",
  "input": "...",
  "prompt_cache_retention": "in_memory"
}

prompt_cache_key 字段可在 Responses.create（及 chat.completions.create）中使用，有助于在多租户共享同一长系统提示时稳定缓存路由：

{
  "prompt_cache_key": "tenant-shared-system-v12"
}

后续关注

OpenAI 指出，24h 默认值适用于"未启用 ZDR 的组织"的 GPT-5 系列模型。随着未来模型代际的演进，in_memory 选项很可能进一步收窄乃至消失。基于短窗口缓存假设构建成本模型的运营商应相应更新预测——缓存优势现在是结构性的，而非偶发的。

相关资源

当团队需要一个 OpenAI 兼容端点、统一账单以及按租户执行的数据策略时，可以把 TheRouter 放在 OpenAI 前作为策略层。变更生产默认值前，请先查看 OpenAI provider 配置和快速开始。上线后必须跟踪 cached_tokens、受缓存命中影响的延迟，以及租户数据策略例外；没有这三项检查，24 小时缓存默认值只是成本假设，不是运营控制。