Open Computer Use 是什么？开源 MCP 方案让 AI 免费自动操作电脑：终极入门指南-平芜编程栈

Open Computer Use 是什么？开源 MCP 方案让 AI 免费自动操作电脑：终极入门指南

【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use

🤖 想让 AI 像人一样自己点鼠标、敲键盘、操作电脑吗？Open Computer Use是一个开源的 Computer Use 服务，它通过MCP 协议把"看屏幕、点按钮、打字"等电脑操作能力开放给所有 AI Agent——免费、跨平台（macOS / Windows / Linux），无需任何闭源服务。下面用 5 分钟带你从零跑通它。

为什么需要开源的 Computer Use MCP 方案？

OpenAI 的 Codex Computer Use 证明了"AI 直接操作电脑"是可行的：AI 不再只是聊天，而是能真正打开应用、填写表单、点击菜单。但它闭源、绑定特定宿主。

Open Computer Use 基于 macOS 的Accessibility（辅助功能）接口实现了一套非侵入式的自动化方案：

🌐免费开源（MIT 协议），一条 npm 命令安装
🧩标准 MCP 协议：任何支持 MCP 的 AI 客户端都能接入，不限于某一家
🖥️跨平台：macOS 用 Swift 实现，Windows 用 UI Automation，Linux 用 AT-SPI
👀可视化光标：AI 操作时有一个跟随移动的"软件光标"，你能清楚看到它点了哪里

它一次暴露9 个标准工具：list_apps（列出应用）、get_app_state（截图 + 无障碍树）、click、type_text、press_key、scroll、drag、set_value、perform_secondary_action，工具定义可以在 ToolDefinitions.swift 中查看。

5 分钟上手：npm 一键安装步骤

前置要求：Node.js 18+；macOS 14.0+（Windows / Linux 无额外要求）。

第 1 步：全局安装

npm i -g open-computer-use

第 2 步：授权（仅 macOS 首次需要）

open-computer-use

首次运行会弹出引导窗口，授予Accessibility（辅助功能）和Screen Recording（屏幕录制）两项权限即可，Windows 和 Linux 无需此步。

第 3 步：体检一下

ocu doctor

doctor会检查权限状态，一切就绪时只打印状态并退出。装好后你获得了两个等价的命令：open-computer-use和短命令ocu。

💡 如果你更喜欢源码运行，可以克隆仓库后执行make smoke做本地验证，仓库结构与分层设计见 docs/ARCHITECTURE.md：git clone https://gitcode.com/gh_mirrors/op/open-codex-computer-use

最快配置方法：一键接入主流 AI Agent

装好后，一条子命令就能把它写入对应 Agent 的 MCP 配置，不用手写 JSON：

目标 Agent	命令
Codex	`open-computer-use install-codex-mcp`
Claude Code	`open-computer-use install-claude-mcp`
Gemini CLI	`open-computer-use install-gemini-mcp`
opencode	`open-computer-use install-opencode-mcp`

如果你用的是其他 MCP 客户端，手动加入这段配置即可（详见 README.zh-CN.md）：

{ "mcpServers": { "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] } } }

也可以把它作为Skill安装，让 Agent 自带使用手册：

npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y

Skill 的说明入口位于 skills/open-computer-use/SKILL.md。

AI 是怎么"看懂"并操作你的电脑的？

整个流程对新手来说非常直观，AI 每次行动遵循一个循环：

看：调用get_app_state，拿到目标应用的窗口截图+无障碍元素树（带element_index编号）
想：AI 根据截图和元素树决定下一步
做：用click（按元素编号或像素坐标）、type_text、press_key等工具执行动作
再看：动作后自动刷新状态，确认结果

几个对普通用户很重要的细节：

🔒不抢前台：默认走"进程定向投递"路径，AI 打字、点击时不会移动你的真实鼠标，你可以继续干别的事
🛡️安全兜底：密码管理器类应用默认被拒；显式开启全局指针模式需要额外的环境变量授权
🖱️可配置点击方式：click_method支持auto/accessibility/app_post/sky_click/global，覆盖不同应用的兼容性场景

想直接体验一次工具调用，不经过任何 Agent：

ocu call list_apps ocu call get_app_state --args '{"app":"TextEdit"}'

可视化光标：亲眼看到 AI 在操作

执行click等动作时，屏幕上会出现一个仿官方的软件光标（software cursor overlay），它会以平滑的弧线轨迹移动到目标位置、点击时产生脉冲动画、空闲时轻微摆动，让你实时掌握 AI 的操作进度。

这套光标的运动模型来自对官方实现的逆向还原，Bezier + 弹簧物理参数沉淀在 scripts/cursor-motion-re/ 目录，还有独立的实验应用 experiments/StandaloneCursor/ 可以本地跑起来观察效果。

进阶玩法：用 JS 编排连续自动化流程

逐次调用工具会有往返开销，Open Computer Use 还内置了JavaScript REPL，暴露js/js_reset两个工具，把"看 → 点 → 打字 → 再确认"整段编排进一次调用（实现见 open-computer-use-repl.mjs，协议文档见 js-repl.md）：

var app = await cua.getApp("TextEdit"); await app.click(12); await app.typeText("Hello from AI"); await app.getAXState();

在终端里也能直接玩：ocu repl进入交互模式，或ocu js '...'执行一次性脚本。

跨平台：Windows 和 Linux 也能跑

同一个 npm 包内打包了三平台的原生运行时，按系统自动选择：

平台	实现	入口代码
macOS	Swift + Accessibility	OpenComputerUseKit/
Windows	Go + PowerShell UI Automation	main.go / runtime.ps1
Linux	Go + Python AT-SPI	main.go / runtime.py

⚠️ Windows / Linux 目前是功能性第一版：9 个工具的协议面与 macOS 一致，但没有可视化光标，且需要运行在已登录的桌面会话中。

常见问题速查

Q：和普通 RPA / 按键脚本有什么区别？A：RPA 需要你先写死流程；Open Computer Use 是 AI 驱动——AI 看到屏幕后自己决策下一步，可以应对界面变化。

Q：AI 会把我的真实鼠标抢走吗？A：默认不会。默认路径把输入事件定向投递给目标应用，不移动系统指针；只有显式开启click_method=global且设置授权环境变量后才可能使用全局指针。

Q：支持哪些 AI 客户端？A：任何标准 MCP 客户端：Codex、Claude Code、Gemini CLI、opencode 等，一条install-xxx-mcp命令即可完成配置。

小结

📦npm i -g open-computer-use一条命令安装，短命令ocu
🧩 标准 MCP 协议，9 个工具覆盖"看 + 点 + 打字 + 滚动 + 拖拽"
🔌 一键接入 Codex / Claude Code / Gemini CLI / opencode
👀 可视化软件光标，操作过程全程可见
🖥️ macOS / Windows / Linux 三平台支持

现在就可以让你的 AI 助手免费、自动地操作起你的电脑了 🚀

【免费下载链接】open-codex-computer-use👾 Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考