codex-desktop-linux computer use上手指南:让AI操作你的Linux桌面,支持GNOME/Hyprland/i3等窗口管理器
【免费下载链接】codex-desktop-linuxUnofficial ChatGPT desktop app for Linux (formerly the Codex app), built locally from OpenAI’s official macOS app. Includes Chat, Work, and Codex. Packages for Debian/Ubuntu (.deb), Fedora/openSUSE (.rpm), Arch (pacman), Nix/NixOS, and AppImage, with Wayland and X11 support.项目地址: https://gitcode.com/gh_mirrors/co/codex-desktop-linux
想在 Linux 上让 AI 直接操作你的桌面吗?codex-desktop-linux 的computer use(Linux Computer Use)功能正是为此而生:它以原生 Rust 编写的 MCP 后端为底座,能截屏、读取界面元素,并执行点击、输入、滚动等真实操作,且原生适配 GNOME、Hyprland、i3 等主流窗口管理器。这项功能默认关闭,属于可选增强项,下面带你 10 分钟完成启用。🖥️
computer use 是什么?为什么值得关注
Linux Computer Use 是一个可选(opt-in)的桌面控制集成,由原生 Rust 后端codex-computer-use-linux提供能力,核心特性包括:
- 📸截屏:通过 GNOME Shell DBus、Codex 专用 GNOME Shell 扩展或 XDG Desktop Portal 捕获屏幕
- 🔍界面感知:通过 AT-SPI 无障碍协议列出应用、读取控件树
- 🪟窗口管理:列出、聚焦窗口;GNOME 和 X11 下还能移动、调整窗口
- ⌨️真实输入:通过
/dev/uinput、XDG RemoteDesktop Portal、xdotool或ydotool完成点击、滚动、拖拽、键盘输入
它不是普通的"浏览器插件",而是把整台 Linux 桌面变成 AI 的可操作环境——适合自动化重复操作、跨应用流程串联等场景。
支持哪些窗口管理器?
后端内置了按窗口管理器拆分的适配层,源码位于 computer-use-linux/src/windowing/backends/:
| 桌面 / 窗口管理器 | 支持能力 |
|---|---|
| GNOME | 窗口列出、聚焦、移动、缩放(含 GNOME Shell 扩展路径) |
| KWin / Plasma 5 & 6 | 窗口列出与聚焦 |
| Hyprland / Niri / COSMIC | 窗口列出与聚焦(Niri 走NIRI_SOCKET) |
| i3 / 通用 X11 (EWMH) | 列出、聚焦;X11 下可移动、缩放 |
对应的后端文件如 gnome.rs、hyprland.rs、i3.rs 等,安装时会自动探测当前会话并选用可用后端。
三步启用 computer use 功能
第 1 步:安装基础运行时
computer use 属于社区可选特性,需要先构建并安装 Community 发行版(参考 Native setup 文档):
git clone https://gitcode.com/gh_mirrors/co/codex-desktop-linux cd codex-desktop-linux make bootstrap-native # 或依赖已装好时用 make install-native如果系统走ydotool兜底输入路径,建议先装好它(Debian/Ubuntu:sudo apt install ydotool;Arch:sudo pacman -S ydotool),并让ydotoold守护进程运行。
第 2 步:勾选 computer-use-linux 特性
推荐用交互向导,勾选computer-use-linux后再安装:
make setup-native make install-native也可以手动编辑特性配置(示例文件见 features.example.json):
cp -n linux-features/features.example.json linux-features/features.json # 在 enabled 数组中加入 "computer-use-linux",再执行 make install-native该特性清单定义在 linux-features/computer-use-linux/feature.json,defaultEnabled为false——不显式启用就不会有任何桌面控制行为,安全可控。🔒
第 3 步:在应用内授权
打开设置 → Computer use,点击Any App这一行,即可为新配置安装/启用原生桌面访问权限(浏览器访问在此单独配置)。
如何验证 computer use 已就绪
安装完成后,最直接的方式是对 Codex 说一句:
Check whether Linux Computer Use is ready
也可以在终端直接运行后端自检命令(详见 main.rs 中的命令实现):
./codex-app/resources/plugins/openai-bundled/plugins/unified-computer-use/bin/codex-computer-use-linux doctor # 还可以试试:apps / windows / screenshot / setupdoctor会分别检查指针与键盘两条输入链路是否可用;截图、AT-SPI、窗口后端的状态一目了然。💡
常见配置问题排查
- 键盘/鼠标注入不生效:确认
ydotoold已启用(systemctl enable --now ydotoold),并将当前用户加入input组后重新登录 - X11 会话:安装
xdotool(键入与点击)、wmctrl+xprop(通用 EWMH 窗口操作) - 截图/Portal 能力缺失:KDE 装
xdg-desktop-portal-kde,sway/wlroots 装xdg-desktop-portal-wlr,Hyprland 装xdg-desktop-portal-hyprland - 窗口聚焦不到预期目标:GNOME 下可借助自带的 GNOME Shell 扩展(gnome-shell-extension/)增强窗口定位能力
完整的依赖与权限说明见 docs/linux-computer-use.md,特性行为与边界(如坐标体系、审批机制)见 linux-features/computer-use-linux/README.md。
写在最后
启用 computer use 后,AI 在 ChatGPT Community 中就多了一双"眼睛"和"手":截屏感知界面、点击按钮、填写表单、滚动列表,而且对 Wayland 与 X11 双协议、多窗口管理器都有原生适配。由于该功能默认关闭且权限由你在设置中显式授予,既实用又安心。建议先用doctor确认各能力项均为绿灯,再交给 Codex 执行你的第一个桌面自动化任务。🚀
【免费下载链接】codex-desktop-linuxUnofficial ChatGPT desktop app for Linux (formerly the Codex app), built locally from OpenAI’s official macOS app. Includes Chat, Work, and Codex. Packages for Debian/Ubuntu (.deb), Fedora/openSUSE (.rpm), Arch (pacman), Nix/NixOS, and AppImage, with Wayland and X11 support.项目地址: https://gitcode.com/gh_mirrors/co/codex-desktop-linux
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考