Agent Desktop 让 AI 读取桌面界面结构

Vercel Labs 的 Agent Desktop 提供命令行工具和 C 接口，让智能体利用操作系统的无障碍界面树识别按钮、输入框等元素，再执行相应操作。项目覆盖 macOS、Windows 和 Linux，并采用 Apache 2.0 许可证。

它的核心交互是先获取界面快照，再引用其中的元素执行动作，随后重新读取状态。相比只依赖截图坐标的操作方式，这条路径可以直接利用应用暴露的语义信息；实际可用性仍取决于应用是否提供完整的无障碍结构，以及系统是否授予所需权限。

来源：GitHub · vercel-labs/agent-desktop