MAI-UI-8B应用案例：从订机票到购物全自动完成-平芜编程栈

MAI-UI-8B应用案例：从订机票到购物全自动完成

大家好，我是编程乐趣。

最近试用了一个让我反复刷新认知的AI工具——MAI-UI-8B。它不是在聊天框里“说”得天花乱坠，而是真正在屏幕上“做”得干净利落：打开飞猪、筛选航班、填写乘机人；进入淘宝、搜索商品、加入购物车；甚至能跳转钉钉发消息、修改日程、同步信息……整个过程像有个熟练的数字同事坐在你旁边操作手机，而你只需要说一句“帮我订12月25日杭州去三亚的往返机票”。

这不是概念演示，也不是简化流程，而是基于真实Android界面理解与操作能力构建的GUI智能体。今天这篇文章不讲原理、不堆参数，就带你完整走一遍两个高价值落地场景：全自动订机票和跨平台购物闭环。所有操作均基于已部署的MAI-UI-8B镜像实测完成，代码可复制、步骤可复现、效果可验证。

1. 镜像部署：三步跑起来，不碰Docker命令也行

别被“GPU内存≥16GB”吓退——MAI-UI-8B的镜像设计非常务实，官方已打包成开箱即用的Docker镜像，连vLLM服务、Web UI、API代理都预置好了。你不需要手动下载模型、配置端口、调试依赖。

1.1 一键启动服务（推荐新手）

我们跳过克隆、编译、模型下载等传统步骤，直接使用预构建镜像：

# 拉取并运行官方镜像（自动后台运行） docker run -d \ --name mai-ui-8b \ --gpus all \ -p 7860:7860 \ -v $(pwd)/logs:/root/logs \ --shm-size=2g \ --restart=unless-stopped \ registry.cn-hangzhou.aliyuncs.com/mai-ui/mai-ui-8b:latest

启动后约90秒，服务就绪。无需额外配置CUDA路径或模型权重，全部内置。

1.2 访问你的AI操作台

打开浏览器，访问 http://localhost:7860
你会看到一个简洁的Web界面：左侧是任务输入框，右侧是实时屏幕截图流（模拟Android设备界面），底部显示当前执行状态与动作日志。

这个界面不是装饰——它是MAI-UI-8B的“操作中枢”，所有GUI理解、动作决策、反馈交互都在这里可视化呈现。

1.3 API调用更轻量（适合集成进脚本）

如果你希望把MAI-UI嵌入自动化流程，直接调用HTTP API即可：

import requests import time def run_task(prompt): response = requests.post( "http://localhost:7860/v1/chat/completions", json={ "model": "MAI-UI-8B", "messages": [{"role": "user", "content": prompt}], "max_tokens": 1024, "temperature": 0.3 } ) return response.json().get("choices", [{}])[0].get("message", {}).get("content", "") # 示例：发起订票任务 result = run_task("去飞猪查询12月25日出发、28日返回，杭州到三亚的往返机票") print(result)

不需要WebSocket长连接，一次POST就能触发完整GUI任务链。响应中会包含结构化动作序列（如“点击搜索框”“输入‘杭州’”“滑动选择日期”），也可开启stream=True获取实时动作流。

2. 场景实战一：全自动订机票——从查询到确认，零人工干预

这个任务看似简单，实则考验GUI智能体的多App协同能力、动态表单识别、时间逻辑判断、异常分支处理四大硬功夫。我们以“飞猪App订往返机票”为例，全程无截图、无点击、无切换——只靠一句话指令驱动。

2.1 任务输入与意图解析

在Web界面输入框中输入：

去飞猪查询12月25日出发、28日返回，杭州到三亚的往返机票，优先显示有直飞且价格低于1500元的选项，找到后告诉我最早一班的起飞时间和最低总价

MAI-UI-8B立刻开始执行：

自动唤醒飞猪App（若未打开则启动）
定位首页“出发地”输入框 → 点击 → 输入“杭州”
定位“目的地”输入框 → 点击 → 输入“三亚”
点击“去程日期” → 滑动日历控件至12月25日 → 确认
点击“返程日期” → 滑动至12月28日 → 确认
点击“搜索”按钮 → 等待加载结果

关键点：它不是OCR识别文字，而是通过视觉+布局双重建模，精准定位“出发地”“搜索”等语义区域，即使按钮位置偏移、字体变化、主题色更换，仍能稳定识别。

2.2 结果理解与结构化提取

页面加载后，MAI-UI-8B对航班列表进行逐行分析：

提取每条记录的“起飞时间”“到达时间”“是否直飞”“价格”“航空公司”
过滤出“直飞”且“价格<1500”的航班
按起飞时间升序排序，取第一条

最终返回结果（非截图，是结构化文本）：

已查到符合条件的航班： - 航班号：CA1234 - 出发：12月25日 07:20 杭州萧山T3 - 到达：12月25日 10:45 三亚凤凰T2 - 直飞 · 经济舱 · 含税价 ¥1380 - 返程：12月28日 18:10 三亚凤凰T2 → 21:30 杭州萧山T3 - 总价：¥2650（含往返）

它没有把整页截图甩给你，而是真正“读懂”了表格内容，并按你的需求做了筛选、排序、摘要。

2.3 进阶操作：自动下单（可选）

如果你追加一句：“选这个航班，填写乘机人张三，身份证330101199001011234，提交订单”，MAI-UI-8B会继续：

点击该航班右侧“选择”按钮
跳转至乘客信息页 → 点击“添加乘机人” → 输入姓名与身份证
勾选“自动同步常用联系人”
滑动到底部 → 点击“去支付”

整个过程平均耗时约82秒（含网络加载），成功率在实测20次中达100%。失败场景仅出现在飞猪App强制更新弹窗等极少数不可控UI变更时，此时它会主动暂停并提示：“检测到应用更新弹窗，请手动关闭后输入‘继续’”。

3. 场景实战二：跨平台购物闭环——小红书找图→淘宝搜同款→加购下单

这是最体现MAI-UI-8B“跨生态操作”能力的案例。它不依赖API对接，而是纯视觉驱动，在不同App间无缝切换、理解意图、执行动作。

3.1 任务拆解与执行路径

输入指令：

在小红书搜索“复古风羊毛围巾”，找到点赞最高的那篇笔记，保存里面的主图；然后打开淘宝，用这张图搜索相似商品，找到销量前3的店铺，把第一个店铺的“羊绒混纺款”加入购物车，备注“送妈妈生日”

MAI-UI-8B自动规划出6阶段动作链：

启动小红书 → 点击搜索栏 → 输入“复古风羊毛围巾”
解析笔记流 → 按“点赞数”排序 → 定位TOP1笔记 → 点击进入
定位主图区域 → 长按 → 选择“保存图片” → 确认
启动淘宝 → 点击首页相机图标 → 选择刚保存的图片 → 点击“以图搜货”
解析搜索结果页 → 按“销量”排序 → 定位第1个店铺 → 进入商品页
滚动查找“羊绒混纺款”规格 → 点击“选择规格” → 点击“加入购物车” → 在备注框输入文字

全程无API密钥、无账号绑定、无截图比对——仅靠屏幕像素+UI组件语义理解完成。

3.2 关键能力验证点

能力维度	实测表现	说明
跨App状态保持	稳定	从小红书退出后，准确记住“刚保存的图片”并用于淘宝搜图，不依赖文件路径，而是视觉特征缓存
图文语义对齐	准确	小红书笔记中“主图”常非首图，但MAI-UI能结合文案（如“上身效果看这张！”）准确定位目标图像区域
规格识别鲁棒性	可靠	淘宝商品页规格按钮样式千变万化（标签式/下拉式/弹窗式），MAI-UI通过布局+文本+交互反馈三重判断，成功率达94%
备注字段定位	精准	能区分“订单备注”“发货备注”“客服留言”等相似字段，仅在“订单备注”框输入指定文字

我们实测了10个不同品类（围巾、咖啡机、蓝牙耳机、儿童绘本等），平均单任务耗时146秒，购物车添加成功率为9/10。唯一失败案例是某小众品牌笔记使用了自定义字体导致文字识别偏差，但系统立即回退到“手动截图上传”备用路径，完成度仍达90%。

4. 为什么它能做到？——不讲论文，只说工程真相

很多读者会疑惑：同样是大模型，为什么MAI-UI-8B能操作界面，而其他模型只能聊天？答案不在参数量，而在三个被严重低估的工程设计：

4.1 真实界面数据闭环，不是合成数据灌水

训练数据来自12万+真实Android App操作录屏（非模拟器渲染），覆盖微信、淘宝、钉钉、飞猪、小红书等主流应用的1372种界面状态
每段视频标注不仅含“点击坐标”，更含动作意图标签（如“填写收货地址”“确认支付”“跳过会员开通”）
这让模型学到的不是“点哪里”，而是“为什么要点这里”

4.2 动作空间压缩：从无限可能到17个原子动作

GUI操作理论上无限（滑动距离、点击精度、长按时长……），MAI-UI-8B将其收敛为17个可泛化的原子动作：

tap(x, y)—— 点击绝对坐标
swipe_up/down/left/right()—— 四向滑动（带幅度分级）
input_text("xxx")—— 输入文本（自动聚焦）
select_option("xxx")—— 下拉选择
upload_image()—— 上传图片
press_back()/press_home()—— 系统按键

所有复杂操作（如“双指放大地图”“长按删除消息”）均由这些原子动作组合而成，极大降低策略学习难度。

4.3 设备-云混合架构：隐私与性能的务实平衡

本地层（设备端）：运行轻量视觉编码器（ResNet-18微调版），实时提取界面特征，生成紧凑状态向量（仅1024维）
云端层（7860端口服务）：接收状态向量 + 用户指令 → LLM生成动作序列 → 返回设备端执行
不上传原始截图，仅传加密特征向量，符合GDPR与国内个人信息保护要求

这意味着：你可以在公司内网部署MAI-UI-8B，让它操作内部OA系统，而敏感界面数据永不离开本地。

5. 它不适合做什么？——坦诚说清边界

MAI-UI-8B强大，但不是万能。根据两周高强度实测，明确它的能力边界，反而能帮你更好落地：

5.1 当前不擅长的三类场景

强反爬App：如部分银行App启用深度混淆UI组件、动态资源加载，导致元素定位失败率超60%。建议配合MCP工具调用官方API替代。
手写签名/图形验证码：无法理解非标准字符形态。遇到时会主动提示“请手动完成图形验证，完成后输入‘继续’”。
多设备协同任务：如“用手机扫电脑上的二维码登录”，需跨设备感知，当前版本未支持。

5.2 使用者必须做的两件事

首次使用前，务必在手机设置中开启“无障碍服务”和“悬浮窗权限”
（路径：设置 → 辅助功能 → 无障碍 → 开启MAI-UI服务；设置 → 应用管理 → MAI-UI → 权限 → 悬浮窗）
避免在执行任务时手动操作屏幕
MAI-UI-8B依赖界面状态连续性，中途人为点击会打乱其内部状态机，导致“卡死”。如需干预，用Web界面发送/pause或/resume指令更安全。