按结果计费的 AI 路由：如何从 Token 定价转向「每美元有效智能」

一个模型输入 token 价格 $0.50/M，另一个 $3.00/M——单看价格，前者便宜 6 倍。但如果前者需要三次尝试才能通过质量检查，而后者一次就对了呢？算上重试、人工审查和浪费的算力，那个「贵」的模型按每个成功任务计算，反而成本更低。

这就是按结果计费（Cost-per-Outcome, CPO）路由的核心洞察：优化产出一个成功结果的总成本，而非 token 的单价。OpenAI 在 2026 年 7 月通过 Useful Intelligence per Dollar 记分卡正式提出了这一思路。我们构建了这份参考文档，将该框架转化为实际的路由决策。

为什么按 Token 计费是错误的路由指标

OpenAI 兼容指供应商提供一个 chat-completions 接口，其请求与响应结构与 OpenAI API 契约足够接近——只需替换三个值（API key、base URL、模型名），原来的 OpenAI SDK 调用即可直接工作。最小实践面是POST /v1/chat/completions 带 messages、model， 并返回 OpenAI 形式的流式响应。

Token 定价告诉你的是原材料成本，而不是成品的成本。

看一个具体例子：我们将一个代码审查任务分别路由到两个模型。

模型 B 每 token 贵 6 倍，但每个成功结果的成本低 4 倍。Token 价格比较从一开始就问错了问题。

这种模式在我们测量过的每种工作负载中都会重现。「冗余税」——低价模型平均多产出 15–20% 的 token 来表达相同的信息——侵蚀了单价优势。重试循环让问题更加严重。而人工审查时间，在 token 成本表中几乎从不出现，却往往在总成本中占主导。

四大指标：OpenAI 的 Useful Intelligence per Dollar 记分卡

OpenAI CFO Sarah Friar 提出了一个记分卡，围绕四个问题展开。我们将每个指标适配到需要做出路由决策的网关运维场景。

1. 完成了多少有用的工作

衡量什么： AI 在达到质量标准的前提下实际完成了多少任务？

Token 只有转化为人们可用的工作时才创造价值。对于支持团队，「完成」意味着一个客户问题被解决。对于工程团队，意味着一次代码变更通过了测试。对于法务团队，意味着一份合同被准确及时地审阅完毕。

如何追踪： 为每个工作流定义「完成」。在工作实际发生的系统中——你的工单系统、CI 流水线或文档管理工具——测量完成率，而不是在 AI 仪表板里。

路由含义： 在你的特定工作负载上任务完成率更高的模型，可能值得更高的 token 价格。完成率因任务类型而异，所以要按工作流测量，而不是用全局平均值。

2. 每个成功任务的成本

衡量什么： 在达到质量要求的前提下，完成一个工作单元的全部成本。

公式：

CPO = (Token 成本 + 检索成本 + 编排成本 + 人工审查成本) / 被接受的结果数

其中：

• Token 成本 = (输入 token × 输入单价 + 输出 token × 输出单价) × 平均尝试次数
• 检索成本 = embedding 调用 + 向量数据库查询 / 每任务
• 编排成本 = 网关计算、日志、队列开销
• 人工审查成本 = 审查时间 × 时薪 × 升级率

路由含义： 这个数字应该驱动模型选择。比较各提供商之间的 CPO，而不是 token 价格。像 GPT-5.6 Sol 或 Claude Opus 4 这样的前沿模型，对复杂任务可能拥有最低的 CPO——尽管 token 价格更高——因为它需要更少的尝试和更少的审查。

3. 可依赖程度

衡量什么： AI 输出在无需人工介入的情况下达到质量标准的频率。

对每个任务追踪三种结果：

• 可直接使用： 输出直接满足质量要求
• 需要修正： 需要重新尝试或人工编辑
• 需要升级： 需要人工介入完成工作

路由含义： 可依赖程度直接影响 CPO。可直接使用率 90% 的模型只有 10% 浪费；70% 的模型有 30% 浪费。当你将复杂任务路由到更可靠（通常也更贵）的模型时，减少的浪费通常超过了更高的 token 成本。

4. 规模化后的价值

衡量什么： 随着使用量增长，每美元 AI 支出是否产出更多的价值？

对同一工作流持续追踪：

• 随着团队在 prompt 和路由方面积累经验，CPO 是否下降？
• 提供商在不按比例涨价的前提下是否提升了模型能力？
• 缓存和路由优化是否产生了复利效应？

路由含义： 支持 prompt caching 的提供商（OpenAI、Anthropic、DashScope）在规模化时具有结构性优势：重复的上下文每次调用成本更低。通过具有缓存感知能力的网关进行路由会放大这一效果。

Token 路由 vs. 结果路由：全面对比

决策树：何时优化什么

用这个决策树为每个工作流选择路由策略：

第 1 步——任务输出是否直接使用，无需人工审查？

• 是 → 优化可依赖性（选择可直接使用率最高的模型）
• 否 → 进入第 2 步

第 2 步——该任务是否属于高频（每天 >1,000 次调用）？

• 是 → 进入第 3 步
• 否 → 优化 CPO（选择每个被接受结果总成本最低的模型）

第 3 步——该任务是否统一（格式相同，复杂度可预测）？

• 是 → 优化吞吐量 + Token 成本（更便宜更快的模型可能足够了）
• 否 → 优化分层路由的 CPO（简单变体路由到低价模型，复杂变体路由到高能力模型）

第 4 步——工作流是否受益于 prompt caching？

• 是 → 加权支持缓存的提供商（OpenAI、Anthropic、DashScope），并将缓存命中节省纳入 CPO 计算
• 否 → 按列表价格比较 CPO

实际实现：配置基于结果的路由

从 token 路由转向结果路由不需要新基础设施，但需要新的测量方式和不同的路由逻辑。

第 1 步：建立基线

在修改路由规则之前，先测量你前 3 个工作流的当前 CPO：

from openai import OpenAI

client = OpenAI(
    base_url="https://api.therouter.ai/v1",  # 或你的网关
    api_key="your-key"
)

import time

def measure_task(prompt, expected_schema):
    attempts = 0
    total_tokens = 0
    start = time.time()

    while attempts < 5:
        attempts += 1
        response = client.chat.completions.create(
            model="openai/gpt-5.5",
            messages=[{"role": "user", "content": prompt}],
        )
        total_tokens += response.usage.total_tokens
        result = response.choices[0].message.content

        if validate(result, expected_schema):
            return {
                "success": True,
                "attempts": attempts,
                "total_tokens": total_tokens,
                "latency_ms": (time.time() - start) * 1000,
            }

    return {"success": False, "attempts": attempts, "total_tokens": total_tokens}

第 2 步：跨模型比较 CPO

对同一任务集运行多个模型，计算每个模型的 CPO：

models_to_test = [
    "openai/gpt-5.5",        # 前沿模型
    "openai/gpt-5.4-mini",   # 中端模型
    "deepseek/deepseek-v4-flash", # 高性价比
    "qwen/qwen3.7-max",      # 国产方案
]

for model in models_to_test:
    results = [measure_task(prompt, schema) for prompt in test_prompts]
    successes = [r for r in results if r["success"]]
    total_cost = sum(r["total_tokens"] * get_price(model) for r in results)
    cpo = total_cost / len(successes) if successes else float("inf")
    print(f"{model}: CPO=${cpo:.4f}, success_rate={len(successes)/len(results):.1%}")

第 3 步：根据 CPO 数据配置分层路由

有了 CPO 数据后，将路由配置为将任务发送到每种任务类型 CPO 最低的模型——而非 token 最便宜的。

对于复杂推理任务，前沿模型（Claude Opus、GPT-5.6 Sol）尽管 token 价格更高，通常具有最低的 CPO。对于简单分类或提取任务，高性价比模型（DeepSeek V4、Qwen3-7-Plus）在 CPO 上胜出，因为任务本身不需要更强的推理能力。

第 4 步：添加 fallback 路由以提高可依赖性

Fallback 路由通过减少失败的尝试来直接改善 CPO。当主模型被限速或不可用时，请求会 fallback 到备选模型而不是失败并需要重试。

按 CPO 排名配置 fallback 链，而不是按价格排名。如果模型 A 的 CPO 最低但宕机了，fallback 到模型 B（CPO 第二低），而不是模型 C（token 最便宜）。

冗余税及其对路由的影响

一个常被忽视的成本因素：低价模型表达相同信息时通常生成更多 token。生产部署的数据显示，低价模型在同等任务上平均多产出 15–20% 的输出 token。

这种「冗余税」侵蚀了 token 单价优势：

高能力模型按输出 token 计贵 5.3 倍——但如果它 1 次完成 vs. 3 次，实际成本是 5.3× / 3 = 1.8×，且延迟仅为三分之一。加上人工审查节省的时间，高能力模型往往胜出。

Prompt Caching 与规模优势

支持 prompt caching 的提供商在规模化时具有结构性 CPO 优势。当重复的上下文（系统提示、few-shot 示例、检索到的文档）被缓存后，后续调用只需支付输入 token 成本的一部分。

对于共享上下文的高频工作流，缓存可以将输入成本削减 50–90%，直接降低 CPO 公式的分子。详见我们的 prompt caching 指南。

FAQ

AI 路由中的按结果计费（CPO）是什么？

按结果计费（Cost-per-Outcome, CPO）衡量的是产出一次成功 AI 任务完成的总成本——包括 token、重试、人工审查和编排开销——而不仅仅是每个 token 的价格。它是直接映射到业务价值的指标：你在乎的是一个成功结果花了多少钱，而不是一个 token 花了多少钱。

为什么按 Token 定价对 AI 成本优化具有误导性？

每 token 更便宜的模型可能需要更多次尝试、产出更多冗余输出，或者需要更多人工修正才能达到同样的结果。用「便宜」模型完成一个任务的总成本，可能比一次就成功的高能力模型更贵。OpenAI 的 Useful Intelligence per Dollar 记分卡明确指出："最低的 token 单价并不总是产出最低的结果成本。"

路由配置如何影响按结果计费？

路由决定哪个模型处理每一个请求。将简单任务路由到低价模型、复杂任务路由到高能力模型，可以在整体工作负载层面最小化 CPO。Fallback 路由增强了可依赖性：当主模型不可用时，请求自动切换到备选模型，减少了失败尝试。整体效果是 CPO 低于任何单模型策略。

OpenAI 的 Useful Intelligence per Dollar 框架是什么？

OpenAI CFO Sarah Friar 于 2026 年 7 月 17 日提出了这个记分卡。它衡量四个维度：(1) 完成了多少有用的工作，(2) 每个成功任务的成本，(3) 可依赖程度，(4) 规模化后的价值。该框架将 AI ROI 从基础设施成本重新定义为业务结果价值，认为 token 定价本身无法衡量 AI 支出是否在产出实际回报。

如何为我的 AI 工作负载计算按结果计费？

CPO = 工作流总成本 / 被接受的结果数

工作流总成本 = 模型 token（输入 + 输出，包括重试）+ 检索/embedding 成本 + 编排开销 + 人工审查时间 × 时薪。只有达到质量标准的任务才计入被接受的结果数。一个需要 3 次尝试的任务，在分子中计入全部 3 次尝试的 token 成本，但在分母中只计入 1。

模型 fallback 路由能降低按结果计费吗？

可以。Fallback 路由在主模型不可用或触发限速时将请求发送到备选模型，减少了失败的尝试和重试，直接降低了 CPO 计算中的分母损失。按 CPO 排名配置 fallback 链，而不是按 token 价格。详见我们的 fallback 路由指南。

TheRouter 如何支持基于结果的路由？

TheRouter 通过配置的提供商路由 OpenAI 兼容请求，并在实际产品路径支持的情况下提供提供商/模型路由和 fallback。你可以为每条路由配置主模型和 fallback 模型，基于你的 CPO 测量结果实现分层路由。结合统一的账单界面，可以按工作流追踪成本，而不是按原始 token 支出。

引用来源

本文所有事实性声明均有来源支持：

• OpenAI, "A scorecard for the AI age" — 访问于 2026-07-21
• OpenAI API 定价 — developers.openai.com — 访问于 2026-07-21
• Anthropic Claude 定价 — platform.claude.com — 访问于 2026-07-21
• PromptMetrics, "AI Pricing in 2026: Why Cost-Per-Outcome Beats Tokens" — 访问于 2026-07-21
• Axios, "OpenAI's CFO pitches a new way to measure AI's value" — 访问于 2026-07-21
• CIO Dive, "OpenAI pushes new yardstick for measuring AI investments" — 访问于 2026-07-21