上一篇我们把服务端 Agent 的三种形态过了一遍。但服务端 Agent 因为部署在服务端的缘故，更多还是为原有的线上化流程做 AI 赋能。
而实际工作中，我们大部分时间是面向电脑、手机这类终端设备，做工具使用、文件处理、代码编程这些事情。所以说，客户端 / 桌面终端 Agent 才是 AI 从「只能在网页对话框里聊天」走向「真正拥有操作系统操作权、替人类干活」的标志性工程落地形态。
一个完整的桌面终端 Agent，架构上通常由四大部分构成：「云 / 端大脑」+「操作系统感知层」+「本地工具执行层」+「安全防护层」。
01 四层架构：大脑、感知、执行、防护
云 / 端大脑
这一层很好理解：就是部署在远程或本地的 LLM 推理引擎服务，为整个 Agent 系统提供思考与决策能力。
操作系统感知层
本质上是为 Agent 系统收集并提供上下文的。主流有三种方式：
- 终端上下文感知：实时捕获终端的
stdout/stderr输出、当前工作目录（CWD）、Git 状态与环境变量； - 文件系统感知：自动扫描项目目录结构，读取本地配置文件、代码库或 Excel / PDF 文档；
- 视觉感知（Computer Use 范式）：利用多模态视觉模型（VLM）截取当前屏幕，识别应用窗口、按钮、图标的像素坐标 (x, y)。
本地工具执行层
这一层的本质，和服务端 Agent 的「工具调用」是一样的——让 Agent 系统能够真正操作资源。主流有四种方式：
- Shell 命令下发：直接在本地启动 pty / Bash 子进程，执行
git、npm、python、docker等命令； - 文件直接操作：通过 OS 文件读写 API，直接创建、修改、重构本地代码或办公文件；
- GUI 操控：通过 OS 底层的 Accessibility API，或模拟鼠标点击、键盘打字，直接操作第三方软件；
- MCP（Model Context Protocol）：作为标准化的「USB 接口」，统一连接本地数据库、调用本地工具等服务。
安全防护层
由于客户端 Agent 拥有真实破坏系统的权限（比如误删文件、提交错代码），安全与权限控制就成了客户端 Agent 的关键能力。主流有两种方式：
- 终端沙箱隔离：代码执行放置于 Docker 容器、MicroVM 或临时隔离目录中；
- 高危行为拦截：遇到
rm -rf、修改系统配置、外发邮件或支付操作时，强行中断并弹出提示，等待用户键盘输入y/N或鼠标确认。
所以客户端 Agent 的本质可以概括为一句话：以用户的个人客户端（Mac / Windows / Linux / Android / iOS）为宿主环境，直接拥有本地文件系统、Shell 终端、系统 API 甚至鼠标键盘操控权，在本地安全边界内完成跨应用任务的「端侧 AI 助手」。
和服务端 Agent 一样，客户端 Agent 按交互方式也区分出三个主流模式。不过这里要留意一个细节：前两个模式的差别，是「人与 Agent 的交互形态」不同；而第三个模式的差别，是「Agent 操作工具的方式」不同——它换了一个维度，所以我们放到下一章单独讲。
02 交互模式：TUI/CLI 与 GUI
2.1 TUI/CLI Agent 模式
最出名的就是以Claude Code和OpenClaw为代表的 Agent。
CLI 就是我们常见的 CMD、BASH、POWERSHELL 这类终端命令行工具，靠命令来驱动；TUI（终端字符界面）本质也是在 Terminal 里用键盘交互，只不过会在终端里打印出分区边框、选项卡、高亮光标等内容，体验很像图形软件，但本质依然是文本字符。
这类 Agent 的主要使用者是程序员、运维人员等 IT 人员，用来开展软件开发、运维脚本编写等工作。它之所以在这个人群里特别受欢迎，有两个原因：一是 AI 实际执行的很多操作，就是前面工具执行层讲到的 Shell 命令下发与执行，和 TUI 天然契合；二是 TUI 运行在终端进程内，启动毫秒级、渲染也不需要等待毫秒级的画面刷新，极其契合开发者追求的「极速反馈」。
2.2 GUI Agent 模式
这是目前最主流的客户端 / 桌面终端 Agent 模式，以WorkBuddy / Cursor / Claude Desktop为代表。
这类 Agent 的交互形态主要是桌面悬浮窗、独立 GUI 应用、可视化卡片展示，可以协助用户开展办公文档处理、数据分析，以及跨企微 / 飞书 / 钉钉的日常事务处理。
这里可以多说一句判断：纯 CLI/TUI 的 Agent 模式，其实只是 Agent 落地过程中的过渡形态，向 GUI 界面或混合界面演进是不可逆的必然趋势。
以 Claude Code 为例，虽然它最开始是以纯终端 CLI 的形态火爆起来，但 Anthropic 很快就在Claude Desktop中整合了Code 选项卡，提供了一套相当成熟的 GUI 图形工作台。
比尔·盖茨（Bill Gates）曾在个人博客 GatesNotes 的《The Age of AI Has Begun》中明确提到：在他一生中，只亲眼见证过两次真正称得上「革命性（Revolutionary）」的技术演示——第一次是 1980 年接触到图形用户界面（GUI），第二次则是 2022 年看到 ChatGPT 顺利通过生物学考试。
GUI 的革命性并不在于技术有多炫酷，而在于它彻底颠覆了「人机交互方式」，从而把计算机从少数极客的工具，变成了普及全球大众的通用基础设施。
GUI 模式的 Agent 也是同样的道理：相比纯 CLI/TUI，它让产品经理、数据分析师、运营甚至普通白领都能用上 Agent。而像 Claude Desktop 这类集成了Chat + Code + Browser + Terminal的综合 GUI 协同桌面，才是目前的主流形态。
03 视觉操控路线（Computer Use）
前面两种模式的区别，主要在「人和 Agent 怎么交互」；而这个模式的区别，在于**「Agent 怎么操作工具」**。
如果说之前的工具调用，类似让 AI 拥有了工具、可以操作物理世界或网络世界上的资源，那么Computer Use 更像是给 AI 装上了「眼睛」和「手」——像人类白领一样，看屏幕上的按钮，然后去点击它，实现真正的「通用桌面自动化」。
为什么还需要这样一个模式？原本的 GUI 协同桌面形式不是已经挺好了吗？主要有两个原因。
1. 某些老旧的工具或系统根本没有 API
过去这类系统的自动化，很多都依赖 RPA 的方式实现。那对应到 AI 去协同赋能，也只能走视觉操控路线：截屏 → AI 视觉识别 → 坐标计算 → 模拟鼠标键盘操作。
相比传统 RPA，引入 Computer Use 之后有一个明显的好处：即使软件界面换了皮肤、按钮位置移动了，AI 也能通过视觉「看懂」按钮上的文字并精准点击，大大降低了企业自动化的维护成本。
2. 商业壁垒与生态闭环
国外的路线偏重「Desktop / Web Use」，国内则偏重「Phone Use」。因为商业壁垒的关系，国内移动互联网生态高度闭环——微信、美团、抖音、小红书等 App 几乎没有公开 API，即便有也只开放给自家生态。
举个例子：「千问」接入了淘宝、支付宝、淘宝闪购、飞猪、高德等阿里核心业务，你可以通过它实际点外卖、订酒店；但也只能点淘宝闪购，点不了美团。
所以，如果想实现「一句话让 AI 在手机上跨 App 完成订外卖、发微信、打车、发小红书」的体验，视觉 Agent「看懂屏幕并模拟人手点击」就成为了破解数据孤岛、实现跨 App 自动化的唯一终极解法。
∞ 总结
回头看这三种模式，会发现它们并不是互相替代的关系，而是站在不同维度上的三条演进线：
- TUI/CLI把效率做到极致，服务的是极客与开发者；
- GUI把门槛降到最低，服务的是所有普通用户；
- Computer Use把覆盖面扩到最广，服务的是那些「没有 API 的老系统」和「封闭的移动生态」。
三者叠加起来，才构成了客户端 Agent 的完整能力版图：能被看见、能被点击、能被脚本化、也能被人审慎地控制。
而权限越大，责任也越大——这套能读你文件、能敲你命令、能点你屏幕的架构，也把 Agent 的风险从「说错话」推到了「做错事」。下一篇，我们就回到安全线，拆一拆客户端 Agent 带来的新攻击面。
觉得有用的话，点个赞和在看，让更多做安全、做 AI 的朋友看到；也欢迎评论区聊聊你更看好哪种客户端 Agent 形态。
