Gemini 3.5 Flash 智能体计算机操作指南:内置浏览器工具、Managed Agents 与路由集成
Gemini 3.5 Flash 将计算机操作作为内置工具发布——无需单独的模型。本指南涵盖启用 computer_use_google、Managed Agents 后台执行 API、Interactions API 与 Flex Tier 定价、安全防护,以及如何通过 TheRouter 路由 Gemini 智能体工作流。
2026 年 6 月 24 日,Google 将计算机操作(computer use)作为 Gemini 3.5 Flash 的内置工具正式发布——开发者已经用这个模型进行函数调用、搜索 grounding 和地图 grounding,现在同一个模型可以直接查看截图、推理 UI 元素并在浏览器、桌面和移动端环境中执行操作。在此之前,计算机操作需要一个单独的预览模型。现在只需一次 google/gemini-3.5-flash 调用就能完成。与此同时,Google 还发布了 Managed Agents 后台执行、远程 MCP 服务器集成,以及 Interactions API 正式版(含 Flex Tier 定价,便宜 50%,约 2 分钟延迟 SLA)。这三项更新共同改变了开发者构建和路由 Gemini 智能体工作流的方式。
google/gemini-3.5-flash 是 TheRouter 模型目录中已验证的模型。我们通过 OpenAI 兼容端点将请求路由到该模型。
OpenAI 兼容指供应商提供一个 chat-completions 接口,其请求与响应结构与 OpenAI API 契约足够接近——只需替换三个值(API key、base URL、模型名),原来的 OpenAI SDK 调用即可直接工作。最小实践面是POST /v1/chat/completions 带 messages、model, 并返回 OpenAI 形式的流式响应。
来源:Google Blog — Introducing Computer Use in Gemini 3.5 Flash,获取于 2026-07-21;Gemini API Computer Use 文档,获取于 2026-07-21;Google DeepMind Managed Agents 更新 (the-decoder.com),获取于 2026-07-21;Gemini API 定价,获取于 2026-07-21;BenchLM — Gemini API 定价 2026 年 7 月,获取于 2026-07-21。
3 分钟快速开始
1. 获取 API 密钥
在 ai.google.dev 创建或获取 Gemini API 密钥。如果计划使用 Enterprise Agent Platform,需要在 Google Cloud 项目中启用 Gemini API。
2. 安装 SDK
pip install google-genai
3. 第一次计算机操作调用
from google import genai
from google.genai import types
client = genai.Client()
response = client.models.generate_content(
model="gemini-3.5-flash",
contents="打开浏览器并导航到 therouter.ai",
config=types.GenerateContentConfig(
tools=[
types.Tool(
computer_use=types.ToolComputerUse(
environment=types.Environment(
browser=types.EnvironmentBrowser()
)
)
)
]
),
)
print(response.text)
就这么简单。模型查看渲染的页面,推理应该点击哪个元素,然后返回结构化的操作指令。不需要单独的计算机操作模型 ID——gemini-3.5-flash 原生支持。
所有支持的模型与能力
| 能力 | Gemini 3.5 Flash | Gemini 3.5 Pro | Gemini 3.1 Pro |
|---|---|---|---|
| 内置计算机操作 | 是(原生支持) | 否 | 否 |
| 函数调用 | 是 | 是 | 是 |
| Managed Agents | 是 | 是 | 是 |
| 搜索 Grounding | 是 | 是 | 是 |
| Interactions API | 是 | 是 | 是 |
| Flex Tier | 是 | 是 | 否 |
| 输入 / 百万 token | $1.50 | $2.00 | $2.00 |
| 输出 / 百万 token | $9.00 | $12.00 | $12.00 |
| 上下文窗口 | 100 万 token | 100 万 token | 200 万 token |
为什么选 3.5 Flash 做计算机操作? Google 选择 Flash 而不是 Pro,因为计算机操作任务会产生大量连续的截图-操作循环。Flash 更低的单 token 成本($1.50/$9.00 vs $2.00/$12.00)能有效压缩这些高 token 消耗的智能体循环成本。
计算机操作架构
Gemini 3.5 Flash 的计算机操作流程分三个阶段:
- 截图捕获 — 智能体对当前环境(浏览器视窗、桌面或移动端屏幕)进行截图。
- 推理 — 模型分析截图,识别 UI 元素,确定下一步操作以完成目标。
- 操作执行 — 模型输出结构化操作(点击、输入、滚动、导航),由应用程序在目标环境中执行。
这个循环不断重复,直到任务完成或模型判断无法继续。
支持的环境
- 浏览器 — 通过渲染截图和 DOM 级操作与网页交互。
- 桌面 — 通过屏幕捕获控制 macOS、Windows 和 Linux 原生应用。
- 移动端 — Android 设备自动化(iOS 支持预览中)。
多步骤示例:填写表单
from google import genai
from google.genai import types
client = genai.Client()
# 模型自主处理多步骤表单填写
response = client.models.generate_content(
model="gemini-3.5-flash",
contents="前往 therouter.ai/contact,填写 name='Test User'、email='test@example.com',然后提交表单",
config=types.GenerateContentConfig(
tools=[
types.Tool(
computer_use=types.ToolComputerUse(
environment=types.Environment(
browser=types.EnvironmentBrowser()
)
)
)
]
),
)
模型将其拆分为多个独立步骤——导航、定位名字字段、输入、定位邮箱字段、输入、找到提交按钮、点击——每一步都通过最新截图进行验证。
Managed Agents:后台执行与远程 MCP
2026 年 7 月 8 日,Google 为 Gemini API 中的 Managed Agents 新增了四项能力:
后台执行
异步运行智能体,无需保持 HTTP 连接。启动任务、获取句柄、轮询结果:
from google import genai
client = genai.Client()
# 启动后台智能体任务
operation = client.agentic.create(
model="gemini-3.5-flash",
config={
"tools": [...],
"execution_mode": "BACKGROUND",
},
contents="分析 therouter.ai 上排名前 10 的页面并总结内容",
)
# 轮询完成状态
result = client.agentic.get(operation.name)
这对长时间运行的智能体任务(软件测试流水线、多页面网页抓取、数据处理)至关重要——在这些场景中保持同步 HTTP 连接是不现实的。
远程 MCP 服务器集成
Managed Agents 现在可以直接连接远程 MCP(Model Context Protocol)服务器,让智能体无需自定义函数包装器即可访问内部数据库、API 或工具服务器:
config = {
"tools": [
{
"mcp_server": {
"uri": "https://your-internal-api.example.com/mcp",
"credentials": {"type": "bearer", "token": "..."}
}
}
]
}
自定义函数与沙盒工具并用
开发者现在可以定义自定义函数,与 Google 的内置沙盒工具(代码执行、文件 I/O)同时使用。此前只能二选一。
凭证刷新
可以在交互轮次之间刷新令牌和凭证,而不会丢失智能体的沙盒状态——这对 OAuth 令牌在任务中途过期的长时间企业工作流至关重要。
Interactions API:正式版与 Flex Tier
Interactions API 是通过 Managed Agents 进行多轮智能体对话的接口。它在 2026 年中正式发布(GA),并推出了新的 Flex Tier:
| 层级 | 延迟目标 | 与标准定价的比例 |
|---|---|---|
| Standard | 尽力低延迟 | 1x |
| Flex | 约 2 分钟 | 5 折 |
Flex Tier 利用非高峰计算容量,适用于:
- 批量智能体任务——排队执行大量智能体运行,异步收集结果。
- 后台执行工作流——2 分钟以内的延迟可以接受。
- 高流量智能体管道的成本优化。
Standard 层级仍然是交互式用户界面智能体体验的默认选择。
计算机操作安全防护
Google 为 3.5 Flash 的计算机操作采用了"纵深防御"策略:
- 针对性对抗训练 — 模型专门针对实时浏览器环境中的提示注入进行了训练,防止页面内容劫持智能体。
- 敏感操作用户确认 — 可选的企业防护功能,在智能体执行不可逆操作(购买、删除、包含 PII 的表单提交)前要求用户明确批准。
- 自动提示注入检测 — 可选系统,在执行过程中识别到间接提示注入时自动停止任务。
生产部署清单:
- 为所有生产部署启用两项可选防护。
- 在沙盒浏览器环境中运行智能体(Google 推荐 Browserbase 或类似方案)。
- 对高风险操作实施人工审核。
- 应用严格的访问控制——将智能体权限限制在任务所需的最小范围。
- 通过审计日志监控智能体操作。
常见错误与解决方案
| 错误 | 原因 | 解决方案 |
|---|---|---|
TOOL_NOT_SUPPORTED | 在不支持 computer_use 的模型上使用 | 切换到 gemini-3.5-flash |
ENVIRONMENT_NOT_AVAILABLE | 未配置浏览器/桌面环境 | 在工具配置中添加 EnvironmentBrowser() 或 EnvironmentDesktop() |
| 截图循环过时 | 智能体持续在过期截图上操作 | 确保环境在每次操作后返回最新截图 |
| 速率限制 (429) | 并发智能体会话过多 | 实施指数退避;考虑使用 Flex Tier 处理批量工作负载 |
| 任务中途凭证过期 | 长时间运行中 OAuth 令牌过期 | 使用新的凭证刷新 API 在交互轮次间刷新 |
MCP_CONNECTION_FAILED | 远程 MCP 服务器不可达 | 检查 MCP 服务器 URI、网络/防火墙规则和凭证 |
TheRouter 集成
google/gemini-3.5-flash 在 TheRouter 的模型目录中。你可以通过 TheRouter 的统一端点路由请求:
from openai import OpenAI
client = OpenAI(
api_key="YOUR_THEROUTER_KEY",
base_url="https://therouter.ai/api/v1",
)
response = client.chat.completions.create(
model="google/gemini-3.5-flash",
messages=[
{"role": "user", "content": "Gemini 3.5 Flash 有哪些主要特性?"}
],
)
对于标准的 chat completions、函数调用和搜索 grounded 请求,TheRouter 通过 OpenAI 兼容接口路由到 google/gemini-3.5-flash。
计算机操作与 Managed Agents 说明:
computer_use内置工具和 Managed Agents API 使用 Google 专有的 SDK 调用(google-genaiPython 包),超出了 OpenAI 兼容的 chat completions 规范。这些功能需要直接集成 Gemini API。TheRouter 路由标准的 chat 和函数调用请求到 Gemini;对于计算机操作和 Managed Agents 工作流,请直接使用 Google SDK,将非智能体的 Gemini 流量通过 TheRouter 路由,以获得统一计费和故障转移。
路由智能体工作流:实用模式
生产智能体系统的常见架构:
- 规划调用 → 通过 TheRouter 路由(标准 chat completions,如果 Gemini 限流可以 fallback 到其他模型)。
- 计算机操作执行 → 直接 Gemini API(需要
computer_use工具和 Google SDK)。 - 结果汇总 → 通过 TheRouter 路由(标准 chat completions,可以使用任何模型)。
这种混合方式让你在支持的调用上获得统一计费和故障转移,同时对需要专有功能的调用使用 Google 原生 SDK。
常见问题
Q:我需要单独的模型来使用计算机操作吗?
A:不需要。自 2026 年 6 月 24 日起,计算机操作是 gemini-3.5-flash 的内置工具。Gemini 2.5 时代的单独计算机操作预览模型不再需要。
Q:计算机操作调用的定价是多少? A:计算机操作调用按标准 Gemini 3.5 Flash 费率计费:输入 $1.50/百万 token,输出 $9.00/百万 token。每个截图-操作循环都会消耗 token(截图作为图像 token 计费)。Flex Tier 对批量/后台工作负载提供 5 折。
Q:我可以通过 OpenAI 兼容 API 使用计算机操作吗?
A:不可以。computer_use 工具需要 Google genai SDK。标准 chat completions 和函数调用可以通过 OpenAI 兼容端点(包括通过 TheRouter)使用;计算机操作需要原生 Gemini API。
Q:计算机操作支持哪些环境? A:浏览器、桌面(macOS/Windows/Linux)和移动端(Android;iOS 预览中)。
Q:后台执行如何与 Managed Agents 配合?
A:使用 execution_mode: "BACKGROUND" 启动智能体任务,获取操作句柄,然后轮询完成状态。无需保持 HTTP 连接。通过 Interactions API 使用。
Q:Flex Tier 适合面向用户的实时智能体吗? A:Flex Tier 目标延迟约 2 分钟。对于交互式用户界面体验,使用 Standard 层级。Flex 最适合批量处理、后台任务和成本敏感的管道。
Q:Managed Agents 可以连接我的内部 MCP 服务器吗?
A:可以,自 2026 年 7 月 8 日起。在工具配置中配置 mcp_server,填入服务器 URI 和凭证。智能体可以在 Google 内置沙盒工具旁边调用 MCP 工具。
最后更新:2026 年 7 月 21 日。定价和能力依据获取日期的官方来源验证。能力持续演进,请查阅 Gemini API 文档 获取最新信息。