Computer Use（计算机操控）

什么是 Computer Use

Computer Use（计算机操控）是指 AI 模型直接操作图形界面：它接收屏幕截图，理解当前界面，然后输出「点击坐标 / 键入文本 / 滚动」等动作，由宿主模拟键鼠执行。本质上，模型在操作人用的那个「界面」，而不是调用软件的 API。

一句话区分：

• API / MCP / Function Calling——软件把能力「喂」给模型（有结构化接口）。
• Computer Use——模型自己「看」界面、自己「动手」（没有接口也能用）。

解决什么问题

很多企业内部系统、 legacy 软件、网页后台根本没有开放 API，但又需要自动化。传统 RPA 靠「写死的坐标 / 选择器」脆弱易碎。Computer Use 用视觉理解 + 规划取代写死的脚本：

• 换个按钮位置，模型看截图仍能找到；
• 不依赖后端接口，能操作任何带界面的程序；
• Agent 形态从「只会调工具」扩展到「会用电脑的人」。

工作原理

截图 → 多模态模型理解界面 → 规划下一步动作 → 模拟键鼠执行 → 再截图 → 循环

典型动作空间：

• click(x, y) / double_click
• type("文本")
• scroll(方向)
• key(组合键) / move(坐标)

模型每步都基于最新截图做决策，形成「感知—决策—执行」闭环。这要求模型具备强视觉理解 + 空间定位 + 多步规划能力，因此通常由旗舰多模态模型驱动（如 Claude Sonnet 4 的 computer use 能力、GPT-5 的 operator 形态）。

和 Agent 的关系

Computer Use 是 Agentic Coding 与桌面 Agent 的关键能力之一：

• 桌面 Agent（Claude Desktop 等）借此操作本地应用；
• RPA 替代：把「截图驱动」的柔性自动化带进企业流程。

但它和 MCP 不是替代关系——能走结构化接口（MCP / API）时优先走接口，更稳更快；只有「纯界面、无接口」的场景才上 Computer Use。

常见误区

• 以为比 API 快——截图理解 + 模拟操作的闭环天然慢，且每步都有误差累积，不适合延迟敏感场景。
• 以为百分百可靠——小按钮、重叠弹窗、动态布局都可能点错，生产必须加「确认 / 回滚 / 权限围栏」。
• 忽视安全——模型拿到的是「能操作你电脑」的权限，必须限定作用域（只给某个浏览器 / 某个窗口），避免越权。

适用与不适用

没有 API 的 legacy 系统 / 网页后台自动化 一次性、低频、人工也会点流程的任务 桌面 Agent 操作本地应用 高并发、低延迟、强一致性的服务调用——走 API / MCP 涉及资金 / 不可逆操作的步骤——必须人工确认

怎么用：三步上手

1. 圈定作用域——只给模型一个隔离环境（专用浏览器 profile / 虚拟机），别给它全系统权限。
2. 加确认围栏——不可逆动作（删除、付款、发信）前强制人工确认。
3. 配失败兜底——截图异常 / 连续miss 时停止并告警，别让它「盲操作」。

哪些工具支持

• Claude 系列（computer use 能力）经 Claude Desktop / Claude Code 暴露。
• GPT 系列的 operator 形态提供网页端计算机操控。
• 大量 Agent 平台把它作为「无接口软件」的兜底执行器。

延伸阅读

• Agent 基础：Agentic Coding
• 协议层：MCP
• 模型如何调工具：Function Calling
• 长上下文：Long Context

来源

• Anthropic — Computer Use 文档
• OpenAI — Operator / Computer Use 介绍