智能体框架上手难度 🔧 进阶#Vercel#Computer Use#桌面自动化#MCP#Rust#Agent#无障碍#RPA
Vercel agent-desktop · Vercel Agent Desktop — 用无障碍树让 AI 操作桌面应用
不截图、不找像素,用系统无障碍树驱动桌面 Agent
指标同步中,请稍后刷新查看 在 GitHub 查看源码
5 分钟上手
无需 GPU;macOS 13+ / Windows 10 1809+ / Ubuntu 24.04+npm install -g agent-desktop
agent-desktop status
agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8项目速览
agent-desktop 是 Vercel Labs 开源的 Computer Use 工具:读取 macOS AX、Windows UI Automation、Linux AT-SPI 的无障碍树,把界面转成带 ref 的 JSON;Agent 按 ref 点击或输入,再重新观察验证。全程不截图、不做像素匹配,内部不内置模型。
能做什么
- 56 个可用命令:快照、点击、输入、拖拽、窗口管理、剪贴板、通知
- MCP 支持:agent-desktop mcp 以 stdio 暴露为 MCP 工具,Claude/Cursor 可直接调用
- 默认无头执行:不移动鼠标、不抢焦点,适合后台自动化
- 三平台:macOS 13+、Windows 10 1809+、Ubuntu 24.04+
怎么部署
npm 全局安装即可,自带 x64/ARM64 原生二进制;macOS 需在系统设置中授予辅助功能权限。也可从 GitHub Releases 下载原生包,或用 Homebrew 安装。
适合谁
开发桌面自动化与 Computer Use Agent 的工程师、需要操作无 API 内部软件的 RPA 团队,以及想给编码 Agent 补上桌面操作能力的团队。
✅ 优点
- •基于无障碍树而非像素,定位更稳、更省 token
- •官方 MCP 模式,接入 Claude/Cursor 成本低
- •Rust 实现,单二进制覆盖三大桌面平台
⚠️ 局限与坑
- •需授予系统辅助功能权限,企业管控环境可能受限
- •本身不含模型,必须配合外部 Agent 框架使用
- •快照与剪贴板可能含敏感桌面内容,日志需脱敏
💼 典型应用场景
- 1.让 Agent 操作没有开放 API 的桌面软件
- 2.替代基于截图的内部 RPA 流程
- 3.给编码 Agent 增加桌面端验证能力
智能体框架· 同类项目推荐
返回全部开源项目指标每周自动更新,数据来自 GitHub API