GPT‑6 让持久运行的智能体能够连续数小时处理复杂任务，从重构代码库到生成经过充分调研的文档和演示文稿。这些智能体背后的应用会发出一系列相互衔接的 API 请求，往往会沿用前几轮中相同的指令、工具定义和上下文。OpenAI 会缓存这部分共享上下文，以便跨请求复用计算，缩短响应时间，并为开发者提供最高 90% 的缓存输入 token 折扣。
随 GPT‑6 系列一同推出的，是一套改进后的提示缓存系统，默认即可实现更高的缓存命中率。现在，对于在 30 分钟窗口内被复用的、符合条件的共享前缀，我们都会给予缓存折扣。我们还推出了新工具，帮助开发者监控缓存性能、诊断未命中原因，并自行选择缓存提示的多大部分。
“OpenAI 的提示缓存对 GitHub Copilot 大规模提供快速、高效的体验起到了关键作用。在过去几个月里，相对于之前的基线，我们在发往 OpenAI 模型的数十亿次请求中，把需要重新处理的提示 token 占比降低了 50% 以上。其结果是推理栈效率更高，开发者获得首次响应的时间也更短。”
——Mario Rodriguez，首席产品官
监控缓存并诊断缓存未命中
全新的提示缓存仪表板展示你的应用有多少输入是从缓存中提供的。你可以跟踪命中率随时间的变化，并通过输入构成图对比已缓存和未缓存的 token。这些视图能帮助你发现缓存命中率的下滑，并评估应用的改动对缓存性能有何影响。
当你遇到意料之外的缓存未命中时，可以使用提示缓存诊断工具弄清发生了什么。它会将一次请求与近期的一次响应进行对比，找出模型、工具、设置或输入中阻碍复用的变化。受影响 token 的估计数量，能帮助你评估影响的大小，并决定如何优化集成方式以最大化缓存命中率。
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
为你的应用优化缓存
选择缓存什么。显式缓存断点让你选择复用哪些提示前缀。更新后的提示缓存指南说明了如何使用断点、缓存前缀在多长时间内保持可用，以及工具和输入的变化如何影响复用。
调整推理强度而不破坏缓存。在 GPT‑6 模型上，你现在可以在多次响应之间更改推理强度而不破坏缓存。只需追加一个 configuration_update，同时保持请求级的推理强度不变，就可以在任务较难时提高强度，在常规的后续任务中降低强度。这样既能调整任务所需的推理量，又能保留可复用的上下文。
在工具和指令变化时保住缓存。当智能体的工具使用需求发生变化时，请保持工具定义、schema 和顺序稳定，使较早的上下文仍可复用。不要移除定义，而是使用 allowed_tools 只让相关工具可被调用，或在不需要任何工具时把 tool_choice 设为 none。若要覆盖较早的指令，请使用新的 developer 消息，把新指令追加到上下文靠后的位置。参见我们的工具变更管理指南。
预热缓存以降低延迟。预热会提前准备好已知的上下文，使请求到达时模型能更早开始响应。例如，应用可以在启动阶段、用户提出第一个问题之前，预热共享指令、工具定义或参考资料。这样就把处理过程移出了用户的等待时间。
这些可选控制建立在引擎默认性能的基础之上，帮助你根据自己的工作负载定制缓存。
第 1 项，共 3 项
“OpenAI 的提示缓存诊断工具和仪表板帮助我们把缓存命中率提高了几个百分点，使成本降低了 20%。现在，缓存意外失效时我们会收到告警，并用 Codex 智能体诊断根本原因。显式断点还让我们能够缓存稳定的上下文，同时把频繁变化的内容放在提示的末尾。这使得为后台任务分叉对话、同时复用几乎全部共享上下文，在经济上变得可行。”
——Arian Hanifi，首席技术官