news 2026/9/26 3:24:29

codex-desktop-linux computer use上手指南:让AI操作你的Linux桌面,支持GNOME/Hyprland/i3等窗口管理器

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
codex-desktop-linux computer use上手指南:让AI操作你的Linux桌面,支持GNOME/Hyprland/i3等窗口管理器

codex-desktop-linux computer use上手指南:让AI操作你的Linux桌面,支持GNOME/Hyprland/i3等窗口管理器

【免费下载链接】codex-desktop-linuxUnofficial ChatGPT desktop app for Linux (formerly the Codex app), built locally from OpenAI’s official macOS app. Includes Chat, Work, and Codex. Packages for Debian/Ubuntu (.deb), Fedora/openSUSE (.rpm), Arch (pacman), Nix/NixOS, and AppImage, with Wayland and X11 support.项目地址: https://gitcode.com/gh_mirrors/co/codex-desktop-linux

想在 Linux 上让 AI 直接操作你的桌面吗?codex-desktop-linux 的computer use(Linux Computer Use)功能正是为此而生:它以原生 Rust 编写的 MCP 后端为底座,能截屏、读取界面元素,并执行点击、输入、滚动等真实操作,且原生适配 GNOME、Hyprland、i3 等主流窗口管理器。这项功能默认关闭,属于可选增强项,下面带你 10 分钟完成启用。🖥️

computer use 是什么?为什么值得关注

Linux Computer Use 是一个可选(opt-in)的桌面控制集成,由原生 Rust 后端codex-computer-use-linux提供能力,核心特性包括:

  • 📸截屏:通过 GNOME Shell DBus、Codex 专用 GNOME Shell 扩展或 XDG Desktop Portal 捕获屏幕
  • 🔍界面感知:通过 AT-SPI 无障碍协议列出应用、读取控件树
  • 🪟窗口管理:列出、聚焦窗口;GNOME 和 X11 下还能移动、调整窗口
  • ⌨️真实输入:通过/dev/uinput、XDG RemoteDesktop Portal、xdotool或ydotool完成点击、滚动、拖拽、键盘输入

它不是普通的"浏览器插件",而是把整台 Linux 桌面变成 AI 的可操作环境——适合自动化重复操作、跨应用流程串联等场景。

支持哪些窗口管理器?

后端内置了按窗口管理器拆分的适配层,源码位于 computer-use-linux/src/windowing/backends/:

桌面 / 窗口管理器支持能力
GNOME窗口列出、聚焦、移动、缩放(含 GNOME Shell 扩展路径)
KWin / Plasma 5 & 6窗口列出与聚焦
Hyprland / Niri / COSMIC窗口列出与聚焦(Niri 走NIRI_SOCKET)
i3 / 通用 X11 (EWMH)列出、聚焦;X11 下可移动、缩放

对应的后端文件如 gnome.rs、hyprland.rs、i3.rs 等,安装时会自动探测当前会话并选用可用后端。

三步启用 computer use 功能

第 1 步:安装基础运行时

computer use 属于社区可选特性,需要先构建并安装 Community 发行版(参考 Native setup 文档):

git clone https://gitcode.com/gh_mirrors/co/codex-desktop-linux cd codex-desktop-linux make bootstrap-native # 或依赖已装好时用 make install-native

如果系统走ydotool兜底输入路径,建议先装好它(Debian/Ubuntu:sudo apt install ydotool;Arch:sudo pacman -S ydotool),并让ydotoold守护进程运行。

第 2 步:勾选 computer-use-linux 特性

推荐用交互向导,勾选computer-use-linux后再安装:

make setup-native make install-native

也可以手动编辑特性配置(示例文件见 features.example.json):

cp -n linux-features/features.example.json linux-features/features.json # 在 enabled 数组中加入 "computer-use-linux",再执行 make install-native

该特性清单定义在 linux-features/computer-use-linux/feature.json,defaultEnabled为false——不显式启用就不会有任何桌面控制行为,安全可控。🔒

第 3 步:在应用内授权

打开设置 → Computer use,点击Any App这一行,即可为新配置安装/启用原生桌面访问权限(浏览器访问在此单独配置)。

如何验证 computer use 已就绪

安装完成后,最直接的方式是对 Codex 说一句:

Check whether Linux Computer Use is ready

也可以在终端直接运行后端自检命令(详见 main.rs 中的命令实现):

./codex-app/resources/plugins/openai-bundled/plugins/unified-computer-use/bin/codex-computer-use-linux doctor # 还可以试试:apps / windows / screenshot / setup

doctor会分别检查指针与键盘两条输入链路是否可用;截图、AT-SPI、窗口后端的状态一目了然。💡

常见配置问题排查

  • 键盘/鼠标注入不生效:确认ydotoold已启用(systemctl enable --now ydotoold),并将当前用户加入input组后重新登录
  • X11 会话:安装xdotool(键入与点击)、wmctrl+xprop(通用 EWMH 窗口操作)
  • 截图/Portal 能力缺失:KDE 装xdg-desktop-portal-kde,sway/wlroots 装xdg-desktop-portal-wlr,Hyprland 装xdg-desktop-portal-hyprland
  • 窗口聚焦不到预期目标:GNOME 下可借助自带的 GNOME Shell 扩展(gnome-shell-extension/)增强窗口定位能力

完整的依赖与权限说明见 docs/linux-computer-use.md,特性行为与边界(如坐标体系、审批机制)见 linux-features/computer-use-linux/README.md。

写在最后

启用 computer use 后,AI 在 ChatGPT Community 中就多了一双"眼睛"和"手":截屏感知界面、点击按钮、填写表单、滚动列表,而且对 Wayland 与 X11 双协议、多窗口管理器都有原生适配。由于该功能默认关闭且权限由你在设置中显式授予,既实用又安心。建议先用doctor确认各能力项均为绿灯,再交给 Codex 执行你的第一个桌面自动化任务。🚀

【免费下载链接】codex-desktop-linuxUnofficial ChatGPT desktop app for Linux (formerly the Codex app), built locally from OpenAI’s official macOS app. Includes Chat, Work, and Codex. Packages for Debian/Ubuntu (.deb), Fedora/openSUSE (.rpm), Arch (pacman), Nix/NixOS, and AppImage, with Wayland and X11 support.项目地址: https://gitcode.com/gh_mirrors/co/codex-desktop-linux

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/26 3:23:47

工业安全检测落地关键:头盔与反光背心合规数据集解析

简介:本资源是面向工业安全智能监控场景的目标检测数据集,专为建筑工地、工厂等高风险作业环境下的AI合规检查系统开发而设计,解决工人是否规范佩戴安全头盔与反光背心的自动识别问题。数据集共1715张真实场景图片(含训练/验证/测…

作者头像 李华
网站建设 2026/9/26 3:23:21

SolidWorks紫色漏斗怎么解决?选择过滤器导致草图选不中

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/26 3:23:11

Cursor Rule 实战:用 MDC 规则文件让大模型不再胡乱回答

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/26 3:22:35

Android 十六岁:用 Cursor 配 TaoToken 统一 Key 的 config.toml 骨架

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/26 3:22:00

海思平台TW2868驱动深度解析与实战调试指南

简介:本资源是面向嵌入式Linux驱动开发工程师与海思平台系统集成者的tw2868视频处理芯片底层驱动源码包,专为适配海思(Hisilicon)SoC的Linux内核环境设计,解决高清视频采集与编解码硬件在Linux系统中的驱动适配与功能启…

作者头像 李华