跨供应商多模态输入参考：各家 LLM API 实际接受的图片、视频、音频和文件格式

最直接的答案：OpenAI 和 Anthropic 接受通过 URL 或 base64 传递的图片（JPEG、PNG、GIF、WebP），各有不同的尺寸限制；DashScope 通过 Qwen-VL/Omni 模型进一步支持原生视频和音频输入；DeepSeek 官方托管 API 不支持原生图片输入；SiliconFlow 托管了多个支持 OpenAI 兼容图片输入的开源多模态模型。 真正的复杂性在于细节——最大尺寸、token 开销、detail 参数，以及每个模型实际处理的模态。

OpenAI 兼容指供应商提供一个 chat-completions 接口，其请求与响应结构与 OpenAI API 契约足够接近——只需替换三个值（API key、base URL、模型名），原来的 OpenAI SDK 调用即可直接工作。最小实践面是POST /v1/chat/completions 带 messages、model， 并返回 OpenAI 形式的流式响应。

来源：OpenAI Images and Vision，检索于 2026-08-06；Anthropic Claude Vision，检索于 2026-08-06；DashScope OpenAI 兼容接口，检索于 2026-08-06；DeepSeek API 文档，检索于 2026-08-06；SiliconFlow 模型列表，检索于 2026-08-06。

速览——多模态输入支持表

OpenAI：最全面的多模态接口

OpenAI 提供最成熟的多模态输入接口。视觉模型（GPT-5.6、GPT-5.5 Pro、GPT-5.4 Mini）支持三种图片传递方式。

图片输入方式

URL 引用——在 image_url 字段传入公开可访问的 URL：

from openai import OpenAI
client = OpenAI()

response = client.responses.create(
    model="gpt-5.6",
    input=[{
        "role": "user",
        "content": [
            {"type": "input_text", "text": "这张图片里有什么？"},
            {
                "type": "input_image",
                "image_url": "https://example.com/photo.jpg",
                "detail": "auto"
            }
        ]
    }]
)

Base64 data URI——直接嵌入图片数据：

import base64

with open("photo.jpg", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

response = client.responses.create(
    model="gpt-5.6",
    input=[{
        "role": "user",
        "content": [
            {"type": "input_text", "text": "描述这张图片。"},
            {
                "type": "input_image",
                "image_url": f"data:image/jpeg;base64,{b64}",
                "detail": "high"
            }
        ]
    }]
)

File API file_id——上传一次，多次引用：

file = client.files.create(file=open("photo.jpg", "rb"), purpose="vision")
# 然后在 content 数组中引用 file.id

detail 参数

detail 参数控制模型处理图片的方式，直接影响 token 开销：

支持的格式和限制

• 格式：JPEG、PNG、GIF（仅第一帧）、WebP
• 最大文件大小：20 MB
• 最大图片尺寸：长边 2048px（自动缩放）
• 多图支持：单次请求支持多张图片
• 音频：专用音频模型（GPT Transcribe）用于语音转文本
• 视频：不原生支持——需提取帧后作为多张图片传入

Anthropic Claude：图片和原生 PDF

Anthropic Claude（Opus 4.8、Sonnet 5、Haiku）支持图片输入，并且是少数支持原生 PDF 处理的供应商之一。

图片输入

Claude 接受 image 内容块，通过 source 指定 base64 或 URL：

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-5-20260714",
    max_tokens=1024,
    messages=[{
        "role": "user",
        "content": [
            {
                "type": "image",
                "source": {
                    "type": "base64",
                    "media_type": "image/jpeg",
                    "data": "<base64 编码数据>"
                }
            },
            {"type": "text", "text": "请详细描述这张图片。"}
        ]
    }]
)

格式限制

• 格式：JPEG、PNG、GIF（非动画）、WebP
• 最大文件大小：每张图片 5 MB（base64 编码后的有效负载大于原始文件）
• 最大尺寸：2576px / 375 万像素（高分辨率模式，默认开启）
• 多图支持：每次请求最多 20 张图片
• Token 计算：基于图片尺寸——大约（宽 × 高）/ 750 token

原生 PDF 支持

Claude 在主流供应商中独特地提供了原生 PDF 输入：

• 最多页数：每个文档 100 页
• 最大文件大小：32 MB
• 传递方式：在 content 数组中以 base64 编码传入，media_type 设为 "application/pdf"
• Token 开销：每页大约等同于一张图片的 token 计算

Claude 不支持的功能

• 视频输入：不支持
• 音频输入：不支持
• 文件上传 API：没有持久文件存储——每次请求需使用 base64 或 URL

DashScope（通义千问）：最广泛的模态覆盖

DashScope 通过 Qwen 模型家族提供了最广泛的输入模态支持。通过 OpenAI 兼容接口，Qwen-VL 和 Qwen-Omni 模型可接受图片、视频和音频输入。

通过 OpenAI 兼容 API 输入图片

from openai import OpenAI

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1"
)

response = client.chat.completions.create(
    model="qwen-vl-max",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张图片里有什么？"},
            {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
    }]
)

支持的模型和模态

视频输入

DashScope Qwen-VL 模型直接在 content 数组中接受视频 URL。模型在内部提取帧：

response = client.chat.completions.create(
    model="qwen-vl-max",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "描述这个视频中发生了什么。"},
            {"type": "video_url", "video_url": {"url": "https://example.com/clip.mp4"}}
        ]
    }]
)

音频输入

Qwen3.5-Omni 接受音频输入用于语音理解，并可产生音频输出：

• 格式：WAV、MP3、FLAC、OGG
• 最大时长：因模型而异
• 传递方式：URL 引用

图片格式细节

• 格式：JPEG、PNG、BMP、WebP、TIFF
• 最大尺寸：因模型而异（VL-Max 支持百万像素级）
• 传递方式：URL 或 base64
• 多图支持：支持

DeepSeek：官方托管 API 无原生视觉支持

截至 2026 年 8 月，DeepSeek 官方托管的 V4-Flash 和 V4-Pro 模型不支持原生图片输入。官方 API 文档将 V4 描述为纯文本服务。

可用的替代方案

• DeepSeek-VL（开源权重）：较早的视觉语言模型，可自行部署，但不通过官方 API 提供
• 第三方托管：Fireworks AI、SiliconFlow 等平台通过文档内嵌功能托管带视觉支持的 DeepSeek 变体
• 无视频/音频/PDF：官方托管 API 不支持这些模态

路由层的意义

如果你的应用同时需要 DeepSeek 在文本任务上的成本优势和视觉能力，你需要一个路由层将多模态请求定向到具备视觉能力的供应商，同时保持纯文本请求走 DeepSeek。这正是路由层处理的异构供应商拓扑场景。

SiliconFlow：开源多模态模型托管

SiliconFlow 托管了 200 余个模型，包含多个支持 OpenAI 兼容 API 端点的多模态开源模型。

图片输入

SiliconFlow 通过托管的视觉模型（Qwen-VL、InternVL、GLM-4V）支持图片输入，使用标准 OpenAI 兼容格式：

from openai import OpenAI

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://api.siliconflow.cn/v1"
)

response = client.chat.completions.create(
    model="Qwen/Qwen2.5-VL-72B-Instruct",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "描述这张图片。"},
            {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
    }]
)

格式细节

• 格式：JPEG、PNG、WebP
• 最大尺寸：百万像素级（因模型而异）
• 传递方式：URL 或 base64
• 无视频/音频/PDF：API 不支持这些模态

常见问题：格式转换和尺寸限制

Base64 编码开销

Base64 编码会将文件大小增加约 33%。一张 4 MB 的 JPEG 编码后约为 5.3 MB。这对 Anthropic 的 5 MB 限制影响最大——源文件应控制在约 3.75 MB 以内才能在编码后的限制范围内。

URL 可访问性

传递图片 URL 时，URL 必须公开可访问。私有端点、VNet 限制的 URL 和需要认证的 URL 会静默失败或返回错误。对于私有来源的图片，建议使用 base64。

尺寸自动缩放

OpenAI 和 Anthropic 都会自动缩放超出最大尺寸的图片。OpenAI 将长边缩放至 2048px 以内。Anthropic 缩放至 2576px 或 375 万像素以内。缩放在服务端执行，token 按缩放后的尺寸计算。

GIF 处理

OpenAI 仅处理动画 GIF 的第一帧。Anthropic 完全不支持动画 GIF。如需分析动画内容，请提取关键帧后作为多张图片传入。

Token 开销影响

图片 token 按与文本 token 相同的费率计费。OpenAI 上一张高精度图片可能消耗 1,000+ token。Anthropic 上一张 1920×1080 的图片约消耗 2,764 token。请据此规划多模态请求的 token 预算。

决策树：不同模态选择哪家供应商

需要图片理解？
├── 预算优先 → SiliconFlow（免费 VL 模型）
├── 精度优先 → OpenAI GPT-5.6 或 Anthropic Opus 4.8
├── 国内部署 → DashScope Qwen-VL
└── 文本 + 视觉混合路由 → TheRouter（视觉请求路由到有能力的供应商，文本路由到最便宜的）

需要视频理解？
├── DashScope Qwen-VL-Max 或 Qwen3.5-Omni
└── OpenAI（手动提取帧）

需要音频输入？
├── DashScope Qwen3.5-Omni（语音理解）
└── OpenAI GPT Transcribe（语音转文本）

需要 PDF 处理？
├── Anthropic Claude（原生支持，最多 100 页）
├── OpenAI（通过 File API）
└── DashScope（通过提取接口）

TheRouter 说明：跨供应商路由多模态请求

当你通过 TheRouter 路由 OpenAI 兼容请求时，多模态请求遵循与文本请求相同的路由规则。关键考量在于并非所有供应商都支持所有模态——例如 DeepSeek 的官方托管 API 不接受图片输入。

我们建议配置模型降级，使多模态请求路由到具备视觉能力的供应商，而纯文本请求可以利用最具成本效益的选项。当你的应用同时处理纯文本和多模态工作负载时，这尤其有用。

常见问题

Q：一次 API 请求可以发送多张图片吗？ A：可以。OpenAI、Anthropic、DashScope 和 SiliconFlow 都支持单次请求包含多张图片。OpenAI 和 Anthropic 将它们放入 content 数组中。每张图片都会计入 token 预算。参见 OpenAI 视觉指南以及 Anthropic 和 DashScope 供应商页面。

Q：图片超过尺寸限制会怎样？ A：OpenAI 对超过 20 MB 的图片返回 400 错误。Anthropic 对超过 5 MB 的 base64 载荷返回错误。DashScope 和 SiliconFlow 有模型级别的限制。建议在发送前在客户端调整图片大小。参见 SiliconFlow 了解模型级别限制。

Q：有没有办法降低图片 token 开销？ A：在 OpenAI 上，设置 detail: "low" 可使用固定 85 token 预算。在 Anthropic 上，编码前先缩小图片尺寸。对所有供应商而言，JPEG 压缩能在不显著影响模型理解力的前提下减小文件大小。更多成本优化策略请参见我们的成本优化路由指南。

Q：可以用 OpenAI SDK 向 DashScope 发送图片吗？ A：可以。DashScope 的 OpenAI 兼容接口接受相同的 image_url 内容块格式。只需更改 base_url 和 API key，使用 Qwen-VL 模型名即可。设置详情请参见我们的 DashScope API 指南。

Q：哪家供应商的图片理解精度最好？ A：在通用图片理解方面，OpenAI GPT-5.6 和 Anthropic Claude Opus 4.8 在基准测试中排名靠前。在性价比方面，DashScope Qwen3.8-Max 和 SiliconFlow 托管的 Qwen-VL 模型以较低价格提供了不错的性能。请查看模型页面了解当前的基准对比。