文章介绍谷歌开源的computer-use-preview项目，这是一个让AI直接操控电脑的Agent框架。它采用三层架构：BrowserAgent智能层、Computer接口抽象层和Playwright/Browserbase执行层。主要技术特点包括坐标归一化、截图滑动窗口和新页面劫持。该框架成本较高（每步约$0.002+），速度较慢（单步3-6秒），目前仅适配Chrome，面临页面加载完整性、弹窗广告等挑战。
前排提示，文末有大模型AGI-CSDN独家资料包哦！
前两天，谷歌悄咪咪开源了一个叫computer-use-preview的项目。
可以让AI直接操控你电脑的Agent框架, 对标broswer_use。
虽然是为了适配自家的新模型，但是代码里边的一些处理细节还是可以学习一下的~
这到底是个什么东西？
简单来说，就是让Gemini模型看着你的屏幕截图，然后自己决定该点哪、该输什么、该滚动到哪。
自然语言驱动，AI Agent执行，大家应该都非常熟悉了。
架构设计，真的很谷歌
3层架构，干净得一批。
```plaintext
BrowserAgent（智能层） ↓Computer 接口（抽象层） ↓Playwright/Browserbase（执行层）
BrowserAgent - 负责和Gemini对话，维护整个任务的上下文。 Computer 接口 - 定义了15个标准动作，任何浏览器环境都得实现。包括鼠标的点击、悬停、拖拽，键盘的输入、快捷键，导航的搜索、跳转，获取当前截图、url。 几个设计 ---- ### 1. 坐标归一化 - 跨分辨率适配 LLM只知道 0-1000 的坐标系，不管屏幕多大，换显示器都不用重新训练。 ```plaintext def denormalize_x(x: int) -> int: screen_width, _ = computer.screen_size() return int(x / 1000 * screen_width)2. 截图滑动窗口 - 上下文不炸
只保留最近3轮的截图，老的直接删除。这个策略让长任务也能跑下去。
MAX_RECENT_TURN_WITH_SCREENSHOTS = 3for i, content in enumerate(contents[:-MAX_RECENT_TURN_WITH_SCREENSHOTS]): if has_screenshot(content): remove_screenshot(content) # 保留结构，删除图片数据3. 新页面劫持 - 单标签约束
网页想开新标签？不存在的。涉及会强行把多标签场景转成单标签，简化模型决策。
def _handle_new_page(new_page): url = new_page.url new_page.close() # 立刻关闭 current_page.goto(url) # 在当前页打开谷歌没讲的那些事儿
这套模式的局限性，可以简单归纳一下：
成本问题
每个动作都要截图+LLM推理，Gemini API调用，每次 $0.002+，带视觉的请求更贵 长任务可能几刀起步。
速度问题
截图(0.5s) + LLM推理(2-5s) + 动作执行(0.5s) = 单步3-6秒
复杂任务10步，就是30-60秒。
还有目前只适配了chrome；以及 页面加载完整性、弹窗广告、网络问题，都是纯视觉Agent的困扰。
好了，这就是我今天想分享的内容。如果你对构建AI智能体感兴趣，我们下期再见！
如何学习AI大模型 ？
“最先掌握AI的人，将会晚掌握AI的人有竞争优势，晚掌握AI的人比完全不会AI的人竞争优势更大”。在这个技术日新月异的时代，不会新技能或者说落后就要挨打。
老蓝我作为一名在一线互联网企业（保密不方便透露）工作十余年，指导过不少同行后辈。帮助很多人得到了学习和成长。
我是非常希望可以把知识和技术分享给大家，但苦于传播途径有限，很多互联网行业的朋友无法获得正确的籽料得到学习的提升，所以也是整理了一份AI大模型籽料包括：AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、落地项目实战等免费分享出来。
👉点击即可获取大模型学习包2026年最新版👈
- AI大模型学习路线图
- 100套AI大模型商业化落地方案
- 100集大模型视频教程
- 200本大模型PDF书籍
- LLM面试题合集
- AI产品经理资源合集
大模型学习路线
想要学习一门新技术，你最先应该开始看的就是学习路线图，而下方这张超详细的学习路线图，按照这个路线进行学习，学完成为一名大模型算法工程师，拿个20k、15薪那是轻轻松松！
视频教程
首先是建议零基础的小伙伴通过视频教程来学习，其中这里给大家分享一份与上面成长路线&学习计划相对应的视频教程。文末有整合包的领取方式
技术书籍籽料
当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，这里也分享一份我学习期间整理的大模型入门书籍籽料。文末有整合包的领取方式
大模型实际应用报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。文末有整合包的领取方式
大模型落地应用案例PPT
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。文末有整合包的领取方式
大模型面试题&答案
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。文末有整合包的领取方式
领取方式
这份完整版的 AI大模型学习籽料我已经上传CSDN，需要的同学可以微⭐扫描下方CSDN官方认证二维码免费领取！
