← 全部文章

AI API 限速对比:OpenAI、Anthropic、DeepSeek、DashScope、SiliconFlow(2026)

全面对比各主流 LLM API 供应商的限速机制——OpenAI 的分级体系、Anthropic 的统一模型、DeepSeek 的并发制、DashScope 的按模型 QPM 配额以及 SiliconFlow 的消费等级。我们逐一拆解了 RPM、TPM、突发策略和升级路径,帮助你根据吞吐需求选择最合适的供应商。

· TheRouter

限速(Rate Limit)决定了你的应用每分钟能向 LLM API 发送多少请求和 token。不同供应商的限速机制差异巨大——从 OpenAI 的五级阶梯到 DeepSeek 的纯并发模型——理解这些差异对于生产环境的路由决策至关重要。

我们对比了 OpenAI、Anthropic、DeepSeek、DashScope(阿里云百炼)和 SiliconFlow 的限速结构。这是我们在配置故障转移路由时建立的参考资料,会随各供应商调整限速而持续更新。

总览——限速对比表

供应商限速模型核心指标分级体系入门级 RPM入门级 TPM突发策略升级路径
OpenAI按级别(Free–Tier 5)RPM, TPM, RPD, TPD6 级,按累计消费~500 RPM(Tier 1, GPT-5)~30K TPM可能按秒执行消费自动升级
Anthropic按级别(Start–Custom)RPM, ITPM, OTPM4 级,按使用历史50 RPM(Start)40K ITPM / 8K OTPM令牌桶算法自动升级;Custom 需协商
DeepSeek基于并发连接并发连接数无分级,按账户统一不适用(无 RPM 上限)不适用(无 TPM 上限)排队 + keep-alive免费申请扩容
DashScope按模型,账户级RPM, TPM(+ RPS, TPS)无正式分级;可扩容500–1,200 RPM(因模型而异)500K–2M TPM按秒突发限制控制台自助临时扩容
SiliconFlow消费等级(L0–L4)RPM, TPM, RPD, TPD5 级,按月消费(人民币)100–1,000 RPM(免费模型固定)50K–500K TPMRPM/TPM 先触发者生效月消费自动升级

数据检索时间:2026 年 6 月 30 日。 OpenAI 数据来源:developers.openai.com。Anthropic 来源:platform.claude.com。DeepSeek 来源:api-docs.deepseek.com。DashScope 来源:alibabacloud.com。SiliconFlow 来源:docs.siliconflow.cn。

API 限速的概念及其重要性

OpenAI 兼容指供应商提供一个 chat-completions 接口,其请求与响应结构与 OpenAI API 契约足够接近——只需替换三个值(API key、base URL、模型名),原来的 OpenAI SDK 调用即可直接工作。最小实践面是POST /v1/chat/completions 带 messages、model, 并返回 OpenAI 形式的流式响应。

限速规定了你的组织在一个时间窗口内(通常按分钟)能向 API 发送多少请求(RPM)和 token(TPM)。GPU 算力是有限的——没有限速,一个重度用户就能让其他人无法使用。

对路由决策而言,限速与定价同等重要。一个收费 $1/M token 的供应商如果在高峰期只允许 10 RPM,实际上是不可用的。关键问题包括:

  • 在遇到 429 错误之前,我的应用能同时服务多少用户?
  • 触发限速后,恢复需要多久?
  • 能否在不签企业合同的情况下提高限额?
  • 缓存 token 是否计入限速?

各供应商对这些问题的回答各不相同。我们逐一拆解。

OpenAI:基于累计消费的五级体系

OpenAI 采用最结构化的方式:6 个等级(Free 至 Tier 5),按累计支付金额划分。每个等级解锁所有模型的更高 RPM 和 TPM 限额。

等级资格门槛

等级资格条件月度用量上限
Free允许地区$100/月
Tier 1已支付 $5$100/月
Tier 2已支付 $50$500/月
Tier 3已支付 $100$1,000/月
Tier 4已支付 $250$5,000/月
Tier 5已支付 $1,000$200,000/月

主要特点:

  • 组织级和项目级限额。 同一组织下的所有 API key 共享配额,项目可设子限额。
  • 等级内按模型区分。 同一 Tier 1 下 GPT-5.5 与 GPT-4o 的限额不同,重型模型限额更低。
  • 模型家族共享限额。 部分模型共享一个 TPM 池——调用同家族任何模型都从同一桶扣减。
  • 长上下文附加限制。 GPT-5.5 等大上下文窗口模型有独立的、更低的长上下文限额。
  • 自动升级。 累计消费超过阈值后自动升入下一等级。

限速响应头

OpenAI 在每个响应中返回限速状态:

x-ratelimit-limit-requests: 60
x-ratelimit-remaining-requests: 59
x-ratelimit-reset-requests: 1s
x-ratelimit-limit-tokens: 150000
x-ratelimit-remaining-tokens: 149984
x-ratelimit-reset-tokens: 6m0s

这使得客户端侧限流非常方便——可以读取剩余容量,在触发 429 之前主动退避。

来源: OpenAI Rate Limits 文档,检索于 2026 年 6 月 30 日。

Anthropic:统一分级模型,支持缓存感知限额

Anthropic 的 Claude API 使用四级体系(Start、Build、Scale、Custom),具有一个显著特性:大多数模型的缓存读取 token 不计入 ITPM 限额。

分级结构

等级月度消费上限RPM(典型值)ITPM(典型值)OTPM(典型值)
Start$5005040,0008,000
Build$1,0001,000400,00080,000
Scale$200,0004,0002,000,000400,000
Custom协商协商协商协商

主要特点:

  • 输入和输出 token 分开限制。 Anthropic 将 TPM 拆分为 ITPM(每分钟输入 token)和 OTPM(每分钟输出 token),让你更清楚地看到瓶颈在哪个维度。
  • 缓存感知 ITPM。 只有未缓存的输入 token 和缓存创建 token 计入 ITPM。cache_read_input_tokens 不计入。在 80% 缓存命中率下,有效吞吐量是名义 ITPM 的 5 倍。这对大量使用系统提示或共享上下文的负载特别有利。
  • 令牌桶算法。 容量持续回填,而非在固定间隔重置。短时突发在平均速率不超限的情况下可以被容忍。
  • 加速限制。 即使在等级内,流量突然激增也可能触发 429 错误。Anthropic 建议逐步提升流量。
  • 工作区级自定义。 可以在组织等级上限内为特定工作区设置更低的限额以控制成本。

例外: Claude Haiku 3.5 会将 cache_read_input_tokens 计入 ITPM。其他所有模型免除缓存读取计数。

缓存感知机制意味着使用提示缓存的应用,其有效吞吐量远高于表面数字。

来源: Anthropic Rate Limits 文档,检索于 2026 年 6 月 30 日。

DeepSeek:基于并发,无 RPM/TPM 上限

DeepSeek 采用了根本不同的方式:完全没有 RPM 或 TPM 限制,而是使用并发上限——同时在途请求的最大数量。

并发限制

模型并发上限
deepseek-v4-pro500
deepseek-v4-flash2,500

主要特点:

  • 没有 RPM 或 TPM。 每分钟可以发送任意数量的请求,只要不超过并发连接数。
  • 连接 = 在途请求。 请求从发送到响应完成期间算作一个并发连接。流式响应在整个过程中都占用连接。
  • 账户级,非 key 级。 同一账户下所有 API key 共享并发池。
  • 优雅降级。 服务器高负载时,DeepSeek 不会拒绝请求而是放慢速度。你会收到 keep-alive 信号(非流式为空行,流式为 : keep-alive SSE 注释)。
  • 10 分钟超时。 如果 10 分钟内推理未开始,连接将被关闭。
  • 免费扩容。 如果 500/2,500 并发不够用,可以通过飞书表单免费申请更高限额。DeepSeek 会根据实际用量匹配。

user_id 隔离

DeepSeek 支持通过 user_id 参数实现按用户隔离:

response = client.chat.completions.create(
    model="deepseek-v4-pro",
    messages=[{"role": "user", "content": "你好!"}],
    extra_body={"user_id": "your_user_id"}
)

对于已扩容的账户,每个 user_id 有自己的子限额(V4 Pro 为 500,V4 Flash 为 2,500),防止一个重度用户占满配额。

来源: DeepSeek Rate Limit & Isolation,检索于 2026 年 6 月 30 日。

DashScope(阿里云百炼):按模型限额,支持自助扩容

DashScope 在账户级别按模型分别应用限速。没有正式的分级体系——你获得默认限额,可以通过控制台自行扩容。

默认限额(代表性模型)

模型默认 RPM默认 TPM
qwen-plus(latest)1,2002,000,000
qwen-max(latest)500500,000
qwen-turbo(latest)1,2002,000,000
qwen3.7-max500500,000
日期快照版本低于 stable/latest低于 stable/latest

主要特点:

  • 账户级聚合。 同一阿里云账户下的所有 RAM 用户、工作区和 API key 共享同一模型的配额。
  • 按秒执行。 除了 RPM 和 TPM 之外,DashScope 还执行 RPS(RPM/60)和 TPS(TPM/60)。一秒内 100 个请求的突发可能触发限速,即使按分钟算未超过 RPM。
  • 稳定版 > 快照版限额。 使用 latest 或稳定版模型别名比固定到日期快照(如 qwen-plus-2025-07-14)获得更高限额。
  • 自助扩容。 可以在百炼控制台中直接增加临时 TPM 配额。扩容立即生效,有效期 30 天。
  • Batch API 绕过。 DashScope 的 Batch API 不受实时限速约束——适合离线处理。

来源: 阿里云百炼限速文档,检索于 2026 年 6 月 30 日。

SiliconFlow:消费等级制,免费模型限额固定

SiliconFlow 使用基于月消费(人民币)的分级制度,免费和付费模型分别处理。

消费等级资格

等级月消费(人民币)
L0< ¥50
L1≥ ¥50
L2≥ ¥500
L3≥ ¥2,000
L4≥ ¥10,000

按模型类型的限速

模型类别指标典型范围
Chat(语言模型)RPM, TPMRPM: 1,000–10,000; TPM: 50,000–5,000,000
Embedding(向量模型)RPM, TPMRPM: 2,000–10,000; TPM: 500,000–10,000,000
RerankerRPM, TPMRPM: 2,000; TPM: 500,000
图像生成IPM, IPDIPM: 2+; IPD: 400+

主要特点:

  • 免费模型:限额固定。 免费模型的限速不随消费等级变化,相对较低且固定。
  • 付费模型:随等级提升。 月消费越高,付费模型的 RPM 和 TPM 越大。同一模型的免费版(如 Qwen/Qwen2.5-7B-Instruct)与付费版(Pro/Qwen/Qwen2.5-7B-Instruct)限额不同。
  • 账户级,按模型。 与 DashScope 类似,限额按模型按账户应用。超过一个模型的限额不影响其他模型。
  • 自动升级。 月消费超过阈值后立即升级到下一等级。

来源: SiliconFlow 限速文档,检索于 2026 年 6 月 30 日。

决策树:何时应让限速驱动供应商选择

限速应在以下场景影响你的供应商选择:

  1. 高并发实时应用(聊天机器人、编程助手):DeepSeek 的并发模型或 DashScope 的高默认 RPM 比 OpenAI Tier 1 更适合。

  2. 大上下文 + 重复提示的负载:Anthropic 的缓存感知 ITPM 在缓存系统提示的情况下给你 5 倍以上的有效吞吐量。

  3. 批量/离线处理:DashScope 和 OpenAI 的 Batch API 都可绕过实时限速。DeepSeek 没有 RPM 上限,也适合批量处理。

  4. 预算有限的初创公司:SiliconFlow 的免费模型限额固定但可用。DeepSeek 的免费扩容意味着可以不花钱就扩展。

  5. 可预测高流量的企业:Anthropic Custom 和 OpenAI Tier 5 提供最高限额,但需要大量消费历史。DashScope 的自助扩容可能更快获得。

故障转移路由视角

限速是配置多供应商故障转移路由的首要原因。当供应商 A 返回 429 时,应用应自动通过供应商 B 重试。TheRouter 在 live product paths 支持的情况下提供 provider/model 路由和 fallback——配置优先级链意味着一个供应商的限速错误会触发自动切换到下一个。

处理 429 错误:各供应商的策略

供应商429 行为恢复方式重试头
OpenAI立即拒绝持续回填(令牌桶)retry-after
Anthropic立即拒绝持续回填(令牌桶)retry-after
DeepSeek仅并发溢出时拒绝立即(连接释放后)标准 HTTP
DashScopeRPM、TPM 或 RPS 触发时拒绝通常 1 分钟内错误码在响应体中
SiliconFlowRPM、TPM、RPD 或 TPD 触发时拒绝取决于触发指标(分钟/天)标准 HTTP

跨供应商通用的最佳实践:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://your-provider.com/v1", api_key="...")

def call_with_backoff(messages, max_retries=5):
    for attempt in range(max_retries):
        try:
            return client.chat.completions.create(
                model="your-model",
                messages=messages
            )
        except RateLimitError as e:
            wait = min(2 ** attempt, 60)
            print(f"触发限速,等待 {wait} 秒...")
            time.sleep(wait)
    raise Exception("重试次数已耗尽")

常见问题

Q: 哪个供应商的开箱即用限额最高?

DeepSeek 完全没有 RPM 或 TPM 限制——只有并发上限,V4 Pro 为 500,V4 Flash 为 2,500。在基于 RPM 的供应商中,DashScope 对 Qwen-Plus 和 Qwen-Turbo 默认提供最高 1,200 RPM。

Q: 能否在不升级到企业版的情况下提高限额?

可以。DeepSeek 提供免费并发扩容申请。DashScope 控制台支持自助临时 TPM 扩容。OpenAI 随消费自动升级。Anthropic 的 Custom 等级需要联系销售。

Q: 缓存 token 是否计入限速?

取决于供应商。Anthropic 对大多数模型免除 cache_read_input_tokens 的 ITPM 计数——这对缓存负载是一个重大优势。OpenAI 和 DashScope 计入所有 token。DeepSeek 没有基于 token 的限制。

Q: 限速如何影响多供应商路由?

限速是故障转移路由的主要触发条件。当一个供应商返回 429 时,路由层应自动通过替代供应商重试。组合使用不同限速模型的供应商(如 OpenAI RPM + DeepSeek 并发)可以获得更大的有效容量。TheRouter 在 live product paths 支持的情况下提供 provider/model 路由和 fallback。

Q: 哪个供应商最适合大批量处理?

DashScope 和 OpenAI 都提供专用 Batch API,可绕过实时限速。DeepSeek 的并发模型也适合批量工作流,因为没有 RPM 上限。

Q: 国内供应商的限速与海外供应商相比如何?

国内供应商(DashScope、SiliconFlow)在同等消费水平下通常提供比海外供应商更高的默认 RPM。DashScope 对 Qwen-Plus 默认的 1,200 RPM 超过了 OpenAI 同等模型的 Tier 1 限额。SiliconFlow 付费等级的语言模型 RPM 最高可达 10,000。

相关资源

帮助与联系