news 2026/9/24 1:25:15

Step-GUI 技术报告解读

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Step-GUI 技术报告解读

模型训练、标准化接口、真实场景评估

1、数据生成:如何高效、低成本地获取可靠训练数据
2、部署协议:如何安全、标准地部署成为新问题;敏感数据(如屏幕截图)最好能留在本地设备处理。
3、场景评测:如何科学评估一个GUI智能体是否真的“好用”?

数据生成部分的内容

1、校准步骤奖励系统
【较低的成本将模型自己运行时产生的“轨迹”,转化为高质量的训练数据】
系统不纠结于模型生成的每一步操作是否完美,而是聚焦于最终任务是否被成功完成。
这个最终结果(成功/失败)的判断,可以通过自动化验证脚本或少量人工审核来高精度、低成本地完成。

问题:最终结果的判断具体是怎么做的?

(1)轨迹级验证
成功的轨迹 => 思考模型 => 七类训练数据(进度跟踪、状态总结、效果预测、自我反思、状态验证、意图执行、动作预测)
失败的轨迹 => 系统 => 知识性数据(如前六类)

思考模型和系统 分别是怎么做的?

(2)训练
基模式Qwen3-VL,三阶段训练
第一步,混合了通用的多模态数据(保持知识储备)和初步的智能体导向数据
第二步,在GUI环境中尝试执行任务,失败任务的针对性补强;辅以高质量的真实操作轨迹数据
第三步,GRPO,复合奖励函数(最终成功,点击精准,操作类型和参数正确,任务完成的流畅度和合理性);半在线探索(失败的尝试 => 提示中注入正确操作作引导)

部署协议部分的内容

高级MCP:云端的主力大模型委派给 端侧的GUI专家模型 做的 明确且常见的GUI任务
高隐私模式:截图和设备信息由 端侧的GUI专家模型分析, 只向云端主力大模型发送 语义摘要

场景评测部分的内容

推出 AndroidDaily,聚焦 出行、购物、社交、娱乐、本地服务
多维分析:
(1)任务类型:筛选、查询、分析
(2)复杂度:原子、组合、条件循环
(3)指令模糊度

4B的开源版本,在复杂任务和指令遵循任务上实测效果不如AutoGLM

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/20 17:06:47

碧蓝航线Alas自动化脚本:从零开始的智能游戏管家完整配置指南

碧蓝航线Alas自动化脚本:从零开始的智能游戏管家完整配置指南 【免费下载链接】AzurLaneAutoScript Azur Lane bot (CN/EN/JP/TW) 碧蓝航线脚本 | 无缝委托科研,全自动大世界 项目地址: https://gitcode.com/gh_mirrors/az/AzurLaneAutoScript 还…

作者头像 李华
网站建设 2026/9/20 17:20:23

纪念币预约自动化工具终极指南:快速上手智能抢购

纪念币预约自动化工具终极指南:快速上手智能抢购 【免费下载链接】auto_commemorative_coin_booking 项目地址: https://gitcode.com/gh_mirrors/au/auto_commemorative_coin_booking 还在为纪念币预约手忙脚乱而烦恼吗?🤔 纪念币预约…

作者头像 李华
网站建设 2026/9/20 19:02:03

如何快速使用LeagueAkari:面向新手的英雄联盟终极辅助指南

在英雄联盟的激烈对局中,每一秒的决策都可能影响最终的胜负。LeagueAkari作为一款功能全面的智能辅助工具,专门为LOL玩家设计,通过智能化和自动化技术,让您能够更专注于游戏本身的乐趣,而非繁琐的操作细节。 【免费下载…

作者头像 李华
网站建设 2026/9/20 19:02:23

如何使用遗传算法优化推荐结果

原文:towardsdatascience.com/how-to-optimize-recommendation-results-with-genetic-algorithm-46f29b5e3d9c 1. 基于 ALS 的简单电影推荐系统 推荐系统现在已应用于各种行业,包括电子商务、营销、视频流媒体、金融行业等。存在不同类型的算法&#xf…

作者头像 李华
网站建设 2026/9/23 20:36:47

新疆机场职工健康新保障:精准高效的驿站健康一体机

在广袤的新疆大地,机场是连接内外的重要枢纽,而机场职工则是守护这份畅通与安全的“蓝天守护者”。高强度的工作节奏、特殊的工作环境,让职工的身心健康保障成为新疆机场运营保障工作的重中之重。如今,健康一体机正式入驻新疆机场…

作者头像 李华
网站建设 2026/9/23 12:47:46

远程协作时代,你的团队需要这份IM工具终极选型清单(附10款推荐)

我整理了这份包含10款即时通讯(IM)工具的推荐。它们涵盖了企业协作、社交娱乐和开发集成等不同领域,你可以根据表格快速了解它们的核心定位。分类工具名称核心定位/特点主要适用场景企业级与协作易秒办 (e-mobile)业务协同与深度集成的移动办…

作者头像 李华