TecvanTecvan
关于我
MCP 全解:从理解到深度开发附录

Manus 爆火,再次证明 Computer Use Agent 的潜力

从 Manus 的走红聊 Computer Use 这条技术路线——它解决了什么问题、与 Function Call/MCP 的本质差异,以及 VLM、VLM+OCR、OmniParser 三种实现方案的取舍。

2025 年 3 月 4 号晚,Monica.im 发布了一款通用型 AI Agent 产品:Manus。从官网透露出的视频来看,这是一款基于 Computer Use 实现的 AI Agent,特点在于能够自主操作计算机完成更复杂的任务,例如做 PPT、分析股票市场变化、整理数据等。

🖼️ 配图待补:Hl9KbITfpoxErix9910cNBIHnqc

本文无意探讨 Manus 的具体能力(毕竟咱也没试用过,没资格评价),更想聊聊它背后的技术:Computer Use。这个概念最早由 Anthropic 在 2024 年 11 月提出,虽然国内讨论的声浪并不大,但这种通过 LLM 自行操作计算机系统、进而实现更通用 Agent 能力的技术却有非常大的想象空间,国外有不少厂商陆续跟进,做出了许多优秀作品。我认为,Computer Use 将会成为未来 AI Agent 的一种重要设计模式,因此有必要更深入理解这一概念以及背后的执行原理。

1. Computer Use 是什么

2024 年 11 月,Anthropic 官宣 Claude 3.5 的同时,也低调官宣了一个 Beta 版本的能力 Computer Use。这项功能允许 Claude 像人类一样使用计算机:用户可以指导 Claude 通过查看屏幕、移动光标、单击按钮和输入文本,来完成各类任务。

参考:anthropic.com/news/3-5-models-and-computer-use

这项技术旨在教会 Claude 通用的计算机操作技能,包括理解用户界面内容和执行界面交互,而无需为每种软件单独开发代理程序,这使得 Claude 模型得以实现:

  1. 跨平台界面解析:基于计算机视觉实时识别 GUI 元素(按钮 / 输入框 / 菜单栏等),准确率达 92%(参考:mittrchina.com);
  2. 拟人化操作链:构建「屏幕感知 → 光标定位 → 点击 / 输入 → 结果验证」的完整动作流;
  3. 自适应学习框架:通过强化学习动态优化操作路径,处理非结构化界面时响应速度提升 40%;
  4. 双向反馈机制:在执行过程中实时捕获屏幕变化,动态调整操作策略。

它特别适合替代人类完成一些常规计算机操作任务,如端到端测试(E2E)、自动化重复流程处理,以及将简单指令转化为复杂计算机指令等。

2. Computer Use 解决了什么问题

Computer Use 技术极具想象空间:设想一套 Agent 软件就能将自然语言精确转换为复杂的系统操作指令,未来工作中可能不再需要耗费精力学习各类专业软件(如 Excel、Word 等)的繁琐操作逻辑,只需以自然语言方式发出指令即可完成各种常见工作任务,AI 辐射范围将进一步涵盖所有依赖计算机的工种。

也因此,多家团队正在积极探索推动这一技术落地应用:

甚至可以说,Computer Use 的设计算是对当前 AI 系统工具使用范式做了一次根本性重构。过去实现 LLM 与外部通讯的手段多集中在 function call、MCP 等技术,而这类技术都需要 case by case 地针对各类具体场景设计实现;computer use 则可以直接读取、操作电脑,就像一个极高性能又通用的人类一样,能够理解各种复杂计算机界面并完成任务,进而降低 agent 的开发成本(理论上)。

3. 实现方案

3.1 使用 VLM 模型

Computer Use Agent 重点在于理解计算机界面,因此通常强依赖于 VLM(Vision-Language Model)模型作为核心决策单元,通过多模态交互实现自动化的计算机操作。流程上整体遵循感知—决策—执行的控制范式:

🖼️ 配图待补:Zu28wIgo0hodBubvYB6cHCnLn4c(感知—决策—执行流程图)

大致包含三个步骤:

  1. 感知:采用动态屏幕捕捉技术获取 RGB 像素流,通过 GPU 加速实现 ≤100ms 的实时帧捕获,同步记录界面元数据(窗口层级 / 控件属性 / 焦点等);
  2. 决策:使用 VLM 实现界面元素检测(Faster R-CNN)+ 语义分割(Mask R-CNN),理解屏幕截图和用户输入,从而制定相应的行为策略,例如鼠标移动到哪里、点击哪里、在哪里输入文本等;
  3. 执行:通过系统级输入驱动来执行相应的操作指令。

持续执行上述循环,直到大语言模型判断任务完成、达到预设的最大操作次数,或超出上下文限制为止。

这种模式的优点是清晰简洁,容易理解上手。但对 VLM 本身的能力要求非常高,需要能够可靠地识别用户界面中的可交互图标,以及理解屏幕截图中各种元素的语义,并准确地将预期操作与屏幕上的相应区域相关联——想要实现精确点击和移动,难度很大。

3.2 基于 VLM 与 OCR 融合的增强型 CUA

在上述 VLM 技术的基础上,还可以叠加 OCR 技术实现更精确的内容理解与定位操作,实现流程:

  1. 截图;

  2. 基于视觉语言大模型(VLM)+ OCR 实现多模态推理:输入屏幕快照与用户指令,生成操作指令集;当指令类型为指针交互时,模型输出结构化定位请求:

    [{ "reasoning": "cognitive process here", "action_type": "click", "target_text": "target element"}]

    再结合 OCR 文本定位与视觉特征,进行坐标映射计算;

  3. 通过系统级输入驱动执行操作指令。

直至 LLM 认为任务完成,或达到设定的最大行为次数,或超出上下文上限。

🖼️ 配图待补:MOQdwAUZHhSwHVbgow1c5YaEnrd(VLM + OCR 流程图)

这个过程中,VLM 作为系统的认知中枢,负责跨模态信息融合相关的工作,包括视觉—语言对齐、指令上下文建模与推理、隐含需求推理等;而 OCR 主要负责界面文本信息的原子化解析,解决字形干扰、多语言支持、艺术字体解析等问题,进一步提升结果的准确度。

3.3 使用 Microsoft OmniParser V2 实现 CUA

2025 年 2 月,Microsoft 研究院发布 OmniParser V2 范式转换技术,可将任意大型语言模型(LLM)转化为能直接操作计算机的智能代理。它通过实时解析屏幕界面元素(如按钮、图标),将其转化为结构化数据,使 AI 能理解用户指令并执行点击、输入等操作,无需针对特定界面微调。该技术显著提升了处理效率(延迟降低 60%)和精准度,成为实现跨平台、跨应用智能自动化操作的核心工具。

🖼️ 配图待补:JXeib9KuBo2qKjxFvAmcfNonnkh

本质上,OmniParser 与上面提到的 VLM 与 OCR 等技术相似,只是实现精度、准确度更高一些,整体逻辑:

  1. 执行动态屏幕状态捕获(ScreenState Capture);

  2. 通过 OmniParser V2 进行多模态界面解析,输出符合 W3C ARIA 标准的可交互元素元数据:

    🖼️ 配图待补:RjifbVNYTomHzHxaH8ecgXvWnqA

  3. 构建 VLM 推理上下文;

  4. 调用系统级输入模拟引擎执行操作。

4. 总结

或许在未来,Computer Use 这种"所见即所控"的模式将彻底重构人机协作边界,并且很可能催生新的操作系统范式——AI 将作为原生交互层直接驾驭数字世界。

不过就当下而言,各家产品都存在比较严重的性能问题,交互效率并不高,可以保持观望。对程序员群体而言,也应该理解 CUA 未来可能会成为一种主流 Agent 架构,值得提前投入精力学习。

概述

补充材料——前端团队适合落地的提效 MCP 设想,以及 MCP 与 Function Call 的核心区别,另附一篇 Computer Use 相关的延伸阅读。

On this page

1. Computer Use 是什么2. Computer Use 解决了什么问题3. 实现方案3.1 使用 VLM 模型3.2 基于 VLM 与 OCR 融合的增强型 CUA3.3 使用 Microsoft OmniParser V2 实现 CUA4. 总结