OpenAI 评测 Harness 指南：为什么 Benchmark 分数不能直接映射到路由决策

当你的团队为生产路由策略选择模型分层时，你实际上是在隐式信任某个 benchmark。OpenAI 于 5 月 29 日发布的评测指南，是每个 AI 工程团队在锁定这种信任之前都应该读一遍的文档：运行评测所用的 harness，对测量结果的影响可能超过模型本身。

这不是安全研究领域的脚注，而是对 AI 工程团队如何用排行榜分数来支撑路由决策的直接挑战。

发生了什么

OpenAI 发布了《可信第三方评测共同指南》，这是一份面向委托或使用独立模型评测的组织的详细工程指南。文章汇集了 OpenAI 自身准备度评测的经验，以及 UK AISI 网络靶场评测等已发布第三方评估的教训。

核心论点：前沿模型已经不再是聊天机器人。它们使用工具、在多步骤交互中维护状态、在更大的工作流中运行。这意味着评测结果不仅取决于模型本身，还取决于 harness —— 围绕模型的脚手架、工具配置、上下文管理、token 预算和重试逻辑。

OpenAI 将评测可以支撑的声明分为三类：

• 能力引出（Capability elicitation） —— 模型是否能产生这种能力？
• 受控比较（Controlled comparison） —— 在相同条件下，模型 A 是否优于模型 B？
• 防护鲁棒性（Safeguard robustness） —— 模型的安全防护在对抗性引出下能否保持？

每种声明类型需要不同的 harness 设计。混用它们 —— 例如用受控比较的 harness 来支撑能力声明 —— 会产生技术上有效但对实际问题具有误导性的结果。

为什么这对 AI 工程团队很重要

实际影响是：benchmark 分数不是可移植的事实，而是在特定 harness 和预算下的测量值。两个团队用不同脚手架在同一任务上运行同一模型，可能得到截然不同的结果。

OpenAI 自己的数据说明了这一点：当 harness 使用上下文压缩（context compaction）来在长交互中保留任务相关状态时，GPT-5.5 在网络靶场任务上的表现显著提升。UK AISI 的评测显示，将 token 预算从 1000 万增加到 1 亿，同一任务的性能提升了最多 59%，而且在最高预算下性能仍在上升。

对于制定路由决策的团队，这带来了一个具体问题：说服你将流量路由到高级分层的 benchmark，可能是在一个与你生产工作负载不匹配的 harness 下运行的。一个在宽松重试预算和状态保留脚手架下编码 benchmark 得分很高的模型，在你的生产 agent 使用更紧的上下文窗口且没有重试逻辑时，表现可能大相径庭。

指南还将污染（contamination）和沙袋（sandbagging）列为有效性威胁。污染 —— 评测任务出现在训练数据中 —— 会虚高分数；沙袋 —— 模型检测到自己正在被评测时故意表现不佳 —— 会压低分数。这两种效应在标题数字中都不可见。

Router/Operator 视角

对于跨多个 provider 管理路由策略的团队，这份指南引入了一个有用的思维模型：将 benchmark 分数视为特定引出设置下的能力下界估计，而非能力上限。

这改变了你构建路由分层决策的方式：

1. 让 harness 匹配你的工作负载，而非排行榜。 如果你的生产编码 agent 使用 32K 上下文窗口、没有压缩、单次尝试预算，那么用 200K 上下文和激进重试运行的 benchmark 测量的是一个不同的系统。在评估是否路由到更昂贵的分层时，用镜像你生产设置的 harness 运行内部评测。

2. 区分能力声明和比较声明。 "模型 A 在共享 harness 下优于模型 B"是受控比较，它不能告诉你模型 A 是否能处理你的特定任务。对于依赖能力阈值的路由决策 —— "这个模型能可靠地完成 50 步 agent 任务吗？" —— 你需要能力引出评测，而不是比较排行榜。

3. 预算敏感性是路由信号。 如果一个模型的 benchmark 分数在最高测试 token 预算下仍在提升，说明该模型的有效能力依赖资源。对于延迟敏感的路由路径，一个需要 10 倍 token 预算才能匹配竞争对手分数的模型，即使其上限更高，也可能不是正确选择。

4. 防护声明需要对抗性 harness。 如果你为内容策略敏感的场景路由模型 —— 面向客户的 agent、受监管行业 —— 相关问题不是"模型在标准评测中是否拒绝了不良提示"，而是"它在专门设计来绕过防护的自定义 harness 下是否仍然保持"。指南建议防护评测应匹配对手模型，包括自定义脚手架。

5. 在信任第三方评测之前，要求提供 harness 细节。 指南建议评测报告披露 harness 设置、工具配置、预算和引出指导。如果你用于路由决策的报告不包含这些信息，将分数视为下界。

TheRouter 用户应该关注或尝试什么

如果你在使用 TheRouter 跨模型分层路由 —— 例如将复杂编码任务路由到高级分层，将简单补全路由到 flash 分层 —— 这份指南的框架为你的路由策略设计提供了具体改进方向：

• 用你自己的 harness 运行分层资格评测。 在提交将某类任务路由到特定模型的路由规则之前，用与你生产 agent 相同的上下文预算、工具设置和重试逻辑运行小规模内部评测。结果比任何已发布排行榜都更有预测性。
• 在生产中追踪每个模型的成功率。 Benchmark 分数是部署前的估计值，生产中在你实际 harness 下的成功率才是真实情况。如果你通过 TheRouter 记录补全请求，你已经拥有构建这个信号所需的数据。
• 将"在最大预算下仍在提升"视为延迟风险标志。 如果一个模型的能力对预算敏感，在没有 fallback 的情况下将其路由到延迟受限的路径是可靠性风险。为在你的运营预算下表现更可预测的模型配置 fallback。

OpenAI 这份指南更广泛的启示是：评测生态系统正在超越简单的排行榜排名走向成熟。基于 harness 感知、工作负载匹配评测来构建路由策略的团队，将比依赖标题分数的团队做出更好的分层决策。