首页/AI 开源项目/Vercel agent-desktop
智能体框架上手难度 🔧 进阶#Vercel#Computer Use#桌面自动化#MCP#Rust#Agent#无障碍#RPA

Vercel agent-desktop · Vercel Agent Desktop — 用无障碍树让 AI 操作桌面应用

不截图、不找像素,用系统无障碍树驱动桌面 Agent

指标同步中,请稍后刷新查看 在 GitHub 查看源码

5 分钟上手

无需 GPU;macOS 13+ / Windows 10 1809+ / Ubuntu 24.04+
npm install -g agent-desktop
agent-desktop status
agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8

项目速览

agent-desktop 是 Vercel Labs 开源的 Computer Use 工具:读取 macOS AX、Windows UI Automation、Linux AT-SPI 的无障碍树,把界面转成带 ref 的 JSON;Agent 按 ref 点击或输入,再重新观察验证。全程不截图、不做像素匹配,内部不内置模型。

能做什么

  • 56 个可用命令:快照、点击、输入、拖拽、窗口管理、剪贴板、通知
  • MCP 支持:agent-desktop mcp 以 stdio 暴露为 MCP 工具,Claude/Cursor 可直接调用
  • 默认无头执行:不移动鼠标、不抢焦点,适合后台自动化
  • 三平台:macOS 13+、Windows 10 1809+、Ubuntu 24.04+

怎么部署

npm 全局安装即可,自带 x64/ARM64 原生二进制;macOS 需在系统设置中授予辅助功能权限。也可从 GitHub Releases 下载原生包,或用 Homebrew 安装。

适合谁

开发桌面自动化与 Computer Use Agent 的工程师、需要操作无 API 内部软件的 RPA 团队,以及想给编码 Agent 补上桌面操作能力的团队。

✅ 优点

  • •基于无障碍树而非像素,定位更稳、更省 token
  • •官方 MCP 模式,接入 Claude/Cursor 成本低
  • •Rust 实现,单二进制覆盖三大桌面平台

⚠️ 局限与坑

  • •需授予系统辅助功能权限,企业管控环境可能受限
  • •本身不含模型,必须配合外部 Agent 框架使用
  • •快照与剪贴板可能含敏感桌面内容,日志需脱敏

💼 典型应用场景

  • 1.让 Agent 操作没有开放 API 的桌面软件
  • 2.替代基于截图的内部 RPA 流程
  • 3.给编码 Agent 增加桌面端验证能力
返回全部开源项目指标每周自动更新,数据来自 GitHub API