BYOK 导读
保留你自己的供应商账号,同时继续使用 TheRouter.ai 的统一入口、路由和故障切换能力。
BYOK 的重点不只是费用归属。 更准确的理解是:模型费用继续走你自己的 provider 账户,但请求入口、路由、可观测性和 fallback 仍由 TheRouter.ai 负责。
先判断你是否真的需要 BYOK
如果你只是想先完成首次接入,先用 shared 跑通更快。 BYOK 适合已经有稳定供应商账号、已有采购关系,或者必须把模型费留在自己账上的团队。
你应该如何理解计费
- 上游模型费用仍由你的 provider 账户结算。
- TheRouter.ai 账单不会把这部分再算成 shared model charge。
- 根据账户策略,BYOK 流量仍可能产生平台费。
- 如果请求用了外部能力,例如联网搜索,相关费用可能单独出现。
不要把 BYOK 理解成“平台完全免费”
BYOK 的核心是 模型费不由 TheRouter 代收,不代表平台侧完全没有费用。路由、审计、fallback 和外部能力仍可能单独计费。
fallback 是怎么工作的
当某个 provider 配了 BYOK 后,同 provider 家族里会先尝试你的 BYOK 路由;如果策略允许,再落回 shared capacity。
provider-ordering.json
{
"provider": {
"allow_fallbacks": true,
"order": ["aws-bedrock", "google-vertex", "anthropic"]
}
}如果你的要求是“绝不允许 shared 介入”,那就不是简单启用 BYOK,而是要同时把 fallback 策略收紧。
常见 provider 凭证形态
Azure
{
"model_slug": "openai/gpt-4o",
"endpoint_url": "https://<resource>.services.ai.azure.com/deployments/<model-id>/chat/completions?api-version=2024-08-01-preview",
"api_key": "<AZURE_API_KEY>",
"model_id": "<AZURE_DEPLOYMENT_NAME>"
}最常见的排错方式
先看请求元数据里每一次 provider attempt 的响应码,而不是只盯最终报错文案。
provider-responses.json
{
"provider_responses": [
{ "provider": "aws-bedrock", "status": 403 },
{ "provider": "google-vertex", "status": 429 },
{ "provider": "anthropic", "status": 200 }
]
}text
401 — key 无效、过期或已撤销
403 — 权限不足、区域不对或 provider policy 不匹配
429 — provider 侧限流
500 — provider 临时故障