安心出门：基于智能眼镜与百宝箱工作流的第一视角随身物品检查助手-平芜编程栈

安心出门：基于智能眼镜与百宝箱工作流的第一视角随身物品检查助手

本文介绍一个独立的智能眼镜应用项目——“安心出门”。系统通过眼镜获取用户当前第一视角画面，结合自然语言指令和多模态视觉模型，对钥匙、钱包、随身药盒等出门物品进行清单式检查，并将检查结果以简短文字和语音反馈给用户。

摘要

老年人、轻度认知障碍人群以及日常生活节奏较快的用户，在出门前经常需要反复确认钥匙、钱包、药盒等物品是否已经准备齐全。传统待办清单只能提示“应该携带什么”，却不能判断物品是否真实出现在用户面前。为此，本文基于智能眼镜第一视角图像、百宝箱智能体工作流和多模态视觉大模型，设计并实现“安心出门”随身物品检查助手。用户既可以指定需要检查的物品，也可以直接调用默认清单。系统通过意图识别、眼镜拍照、清单提取、视觉比对和结果生成完成端云协同，并以“已看到、暂未看到、无法确认”三种状态返回检查结果。本文重点介绍工作流设计、眼镜端拍照插件、云端视觉模型、提示词约束、调试方法和安全边界。

关键词：智能眼镜；AI智能体；多模态大模型；百宝箱工作流；第一视角视觉；物品检查

1. 项目背景

出门前反复检查随身物品是一个非常常见的生活场景。对于普通用户，这可能只是偶尔忘带钥匙或雨伞；对于老年人和存在轻度记忆困难的用户，重复确认则可能带来明显焦虑。

传统方案通常采用手机待办清单或定时提醒，其本质是告诉用户“应该带什么”，但无法回答下面的问题：

钥匙现在是否已经放在桌上？
钱包是否出现在准备携带的物品中？
用户提到的雨伞和药盒是否都能在当前视野中看到？
物品是真的没有出现，还是因为被遮挡而无法判断？

智能眼镜具有第一视角、自然语音交互和随时获取真实场景的特点，因此非常适合将“清单提醒”升级为“视觉检查”。

“安心出门”的核心不是替用户证明物品一定没有携带，而是帮助用户确认：

当前眼镜画面中，哪些物品已经明确看到，哪些暂时没有看到，哪些因为遮挡或图像质量无法确认。

2. 功能目标

本项目采用独立智能体和独立工作流，不依赖其他生活记忆类项目。当前MVP聚焦一个完整闭环：

用户发出检查指令 ↓ 眼镜拍摄当前视野 ↓ 提取用户检查清单 ↓ 视觉模型逐项识别与比对 ↓ 生成结构化检查结果 ↓ 眼镜端文字与语音反馈

系统支持两种检查方式。

2.1 默认清单检查

当用户没有明确说出物品时，系统使用默认清单：

钥匙、钱包、随身药盒

例如：

帮我检查一下出门东西带齐了吗？ 帮我看看有没有忘带东西。 出门前帮我检查一下。

2.2 用户指定清单

当用户明确提到具体物品时，系统只检查用户说出的物品，不再自动追加默认清单。

例如：

帮我看看钥匙、雨伞和水杯带齐了吗？

系统本次只检查：

钥匙、雨伞、水杯

对应逻辑为：

用户是否说出具体物品？ ├── 是：使用用户指定清单 └── 否：使用默认清单

3. 系统总体架构

系统由眼镜交互端、百宝箱工作流编排层和云端多模态理解层组成。

3.1 眼镜交互端

眼镜端负责：

接收用户自然语言指令；
播放拍照提示；
获取用户当前第一视角图片；
接收并播报最终检查结果。

3.2 工作流编排层

百宝箱工作流负责：

判断本次输入来自上传图片还是眼镜真机；
识别用户是否要执行出门检查；
调用眼镜拍照插件；
将正确的图片地址传递给视觉模型；
根据不同分支返回检查结果、使用说明或退出提示。

3.3 云端视觉理解层

视觉模型负责：

从用户指令中提取检查清单；
识别当前画面中的相关物品；
将物品划分为“已看到、暂未看到、无法确认”；
生成适合眼镜语音播报的简短结果。

图1插入位置：[此处插入安心出门系统总体架构图]

4. 百宝箱工作流设计

百宝箱默认项目已经包含开始、图片URL判断、意图识别、眼镜拍照、视觉模型、文本模型和结束节点。本项目保留默认模板的双入口结构，并针对出门检查场景重新配置节点。

最终工作流如下：

开始 ↓ 输入方式判断 ├── 图片URL不为空 │ ↓ │ 上传图片检查模型 │ ↓ │ 上传检查结果 │ └── 图片URL为空 ↓ 安心出门意图识别 ├── 出门检查 │ ↓ │ 眼镜拍摄出门物品 │ ↓ │ 眼镜检查模型 │ ↓ │ 眼镜检查结果 │ ├── 退出 │ ↓ │ 退出提示 │ └── 其他 ↓ 使用说明模型 ↓ 使用说明结果

图2插入位置：[此处插入百宝箱完整工作流截图]

4.1 双入口设计

工作流保留了上传图片和眼镜真机两条执行路径。

上传图片路径用于开发调试：

开始 → 输入方式判断 → 上传图片检查模型 → 上传检查结果

眼镜真机路径用于实际运行：

开始 → 输入方式判断 → 意图识别 → 眼镜拍照 → 眼镜检查模型 → 眼镜检查结果

这种设计使开发者在没有佩戴眼镜时，也能使用测试图片快速调试视觉提示词；真机运行时则直接使用眼镜拍照插件返回的图片地址。

4.2 为什么使用两个视觉模型节点

上传图片和眼镜拍照的图片来源不同：

模型节点	图片来源
上传图片检查模型	开始节点的图片URL
眼镜检查模型	眼镜拍照插件输出的data

如果让同一个视觉模型同时引用两个图片变量，未执行分支中的图片变量可能为空或失效，增加调试难度。因此，本项目使用两个配置相同、图片来源不同的视觉模型节点，提高工作流稳定性。

5. 意图识别设计

眼镜真机路径设置三个互斥意图。

5.1 出门检查

用于识别检查随身物品的请求。

典型表达包括：

帮我检查一下出门东西带齐了吗 帮我看看有没有忘带东西 钥匙、钱包和药盒带齐了吗 出门前帮我检查一下 我有没有忘带钥匙

该意图命中后进入眼镜拍照节点。

5.2 退出

用于识别明确的结束请求，例如：

退出 关闭 不用了 结束检查 停止

退出分支不会调用摄像头。

5.3 其他

用于处理问候、功能咨询或与出门检查无关的输入。该分支进入文本模型，向用户说明项目的正确使用方式，不调用眼镜拍照插件。

意图识别节点的输入必须通过变量选择器重新绑定：

开始 → 当前对话信息

不能复制其他工作流中的变量表达式，因为复制后的内部变量ID可能已经失效。

6. 眼镜端拍照插件

眼镜拍照节点负责获取当前真实视野。拍照提示设置为：

请看向准备携带的物品，并保持视线稳定，我正在帮您检查。

插件主要输出：

code：拍照处理状态 data：图片数据地址

其中，视觉模型的图片输入必须绑定：

眼镜拍摄出门物品 → data

仅仅把拍照节点与视觉模型连线，只能确定执行顺序，并不能保证模型获得图片；真正完成图片传递的是模型图片输入中的变量引用。

为降低偶发网络或设备响应失败的影响，拍照插件启用失败重试：

最大重试次数：3次 重试间隔：300毫秒

当无法获得图像时，系统返回：

暂时没有获取到清晰画面，请重新看向物品，再说一次“帮我检查出门东西带齐了吗”。

7. 多模态模型提示词设计

视觉模型选用Qwen-VL-Max系列模型。提示词将任务拆分为“提取清单、观察图像、逐项判断、生成结果”四个阶段。

核心提示词如下：

# 角色 你是“安心出门”智能眼镜随身物品检查助手。 # 用户当前指令 用户当前说的是： {{开始/当前对话信息}} # 核心任务 根据用户当前指令和输入图片，检查用户准备出门时需要携带的物品。 # 清单提取规则 1. 如果用户明确说出需要检查的物品，以用户说出的物品作为检查清单。 2. 如果用户没有明确说出物品，只是说“帮我检查出门东西带齐了吗”，采用默认清单： 钥匙、钱包、随身药盒。 3. 不得擅自增加用户没有要求检查且不属于默认清单的物品。 # 判断状态 1. 已看到：图片中能够清晰、可靠识别的物品。 2. 暂未看到：当前图片中没有发现的物品。 3. 无法确认：疑似存在，但图片模糊、被遮挡或无法可靠判断。 # 安全约束 - 只能根据当前图片中的真实可见内容判断。 - 不得虚构图片中不存在的物品。 - 不得因为当前图片没有看到某物，就断言用户一定没有携带。 - 必须使用“当前画面中暂未看到”，不能使用“你没有带”。 - 不确定的物品必须归入“无法确认”。 - 不要描述无关环境。 - 回复控制在100字以内，适合眼镜语音播报。 # 输出格式 【出门检查】 已看到：…… 暂未看到：…… 无法确认：…… 最后补充一句简短、友好的检查提醒。

7.1 三状态输出的必要性

仅使用“有”和“没有”两个状态，会将以下情况错误地归为“没有”：

钱包只露出一角；
药盒被衣物遮挡；
图像因运动而模糊；
钥匙和背景颜色相近；
物品距离过远。

增加“无法确认”状态，可以避免模型在证据不足时给出过度确定的结论。

7.2 用户指定清单优先

当用户说：

帮我看看钥匙、雨伞和水杯带齐了吗？

系统只检查钥匙、雨伞和水杯，不再追加钱包或药盒。这使同一个工作流可以适应上班、买菜、就医、旅行等不同出门场景。

8. 文本说明分支

如果用户没有提出检查需求，系统不会无意义地启动摄像头，而是进入“使用说明模型”。

该节点不绑定天气查询、股票查询、搜索等无关插件，其提示词为：

你是“安心出门”智能眼镜随身物品检查助手。 本项目只负责帮助用户检查出门前需要携带的物品。 如果用户没有提出物品检查需求，请简短告诉用户本项目的使用方法： “准备出门时，请看向钥匙、钱包、药盒等随身物品，然后说：帮我检查一下出门东西带齐了吗。” 不要调用工具，不要声称已经拍照，回复控制在60字以内。

这种设计既能避免不必要的拍照，也能降低插件调用时间和隐私风险。

9. 端侧与云端插件协同

本项目采用端云协同方式完成任务。

环节	执行位置	主要作用
语音输入	眼镜端	接收用户检查指令
拍照提示	眼镜端	引导用户保持视野稳定
第一视角拍照	眼镜端插件	获取真实场景图片
意图识别	云端工作流	判断是否需要执行检查
清单提取	云端模型	提取用户指定物品或加载默认清单
视觉比对	云端多模态模型	判断清单物品是否出现在图片中
结果生成	云端模型	生成简短的结构化反馈
文字与语音反馈	眼镜端	向用户播报检查结果

眼镜端保持轻量，主要负责感知与交互；云端负责语义理解和视觉推理，从而避免在端侧部署大型视觉语言模型。

10. 测试方案

10.1 默认清单测试

场景：桌面放置钥匙和药盒，不放钱包。

指令：

帮我检查一下出门东西带齐了吗？

预期：

已看到：钥匙、随身药盒 暂未看到：钱包 无法确认：暂无

10.2 用户指定清单测试

场景：桌面放置钥匙、雨伞和水杯。

指令：

帮我看看钥匙、雨伞和水杯带齐了吗？

预期：只检查钥匙、雨伞和水杯，不追加默认清单。

10.3 遮挡测试

场景：钱包大部分被衣物遮挡。

指令：

帮我看看钱包带了吗？

预期：钱包进入“无法确认”，而不是“暂未看到”。

10.4 无关输入测试

输入：

你好。

预期：进入使用说明分支，不调用眼镜摄像头。

10.5 退出测试

输入：

结束检查。

预期：直接结束，不调用摄像头。

10.6 建议记录的测试指标

指标	记录内容
意图识别准确率	测试语句中正确进入出门检查分支的比例
清单提取准确率	用户点名物品是否全部、准确提取
物品识别准确率	已看到物品是否识别正确
不确定状态合理性	遮挡或模糊物品是否进入无法确认
端到端响应时间	用户说完指令到结果返回的时间
拍照插件成功率	多次调用中成功返回图片的比例

图3插入位置：[此处插入眼镜第一视角测试图片]

图4插入位置：[此处插入百宝箱运行详情或眼镜返回结果截图]

11. 隐私与安全设计

第一视角设备可能拍摄到家庭环境、文件、人员和其他隐私内容，因此项目设置以下约束：

只有用户明确发出检查指令后才调用摄像头；
问候、闲聊和功能咨询不会触发拍照；
视觉模型只分析检查清单中的物品，不扩展描述无关场景；
当前画面没有发现某物时，只能表述为“暂未看到”；
系统不能保证用户一定没有携带该物品；
拍摄失败或画面不清楚时，要求用户重新调整视角；
药盒在本项目中只作为随身物品检查，不进行药物诊断或服药决策。

这些约束可以降低视觉模型幻觉、误导性结论和不必要的信息采集。

12. 当前局限

当前MVP仍存在以下限制：

单张图片只能覆盖当前视野，无法检查背包内部或口袋中的物品；
被严重遮挡的物品可能无法识别；
外观相似的钥匙、药盒和卡包可能发生误识别；
默认清单暂时写在提示词中，尚未实现用户级持久化配置；
系统只能说明“当前画面中暂未看到”，不能证明物品确实没有携带；
识别效果受到光照、视角、清晰度和网络状态影响。

因此，项目定位为出门前的辅助检查工具，而不是绝对可靠的物品携带证明系统。

13. 后续优化方向

13.1 个性化清单

增加用户清单管理功能，例如：

工作日清单：钥匙、工牌、电脑、充电器 就医清单：医保卡、病历、药盒、手机 买菜清单：钥匙、手机、购物袋 雨天清单：钥匙、雨伞、雨衣

13.2 多视角连续检查

引导用户依次查看玄关、桌面和背包，通过多张图片合并检查结果，降低单一视角遗漏。

13.3 物品实例级确认

结合用户预先保存的物品图片，区分“看到一把钥匙”和“看到用户自己的家门钥匙”。

13.4 家属协同

当关键物品连续多次未确认时，在用户授权后向家属发送提醒，但必须避免自动上传未授权的家庭图像。

13.5 检查历史

记录检查时间、清单和最终确认状态，为用户提供：

今天8点10分完成出门检查，钥匙、钱包和药盒均已确认。

14. 总结

“安心出门”利用智能眼镜第一视角，把传统的文字清单升级为面向真实环境的视觉检查。系统通过百宝箱工作流连接语音输入、意图识别、眼镜拍照插件和多模态视觉模型，实现了从“用户提出检查需求”到“眼镜反馈检查结果”的完整闭环。

本项目的关键设计包括：

保留上传图片和眼镜真机双入口；
用户点名物品优先，否则使用默认清单；
上传图片与眼镜图片使用独立视觉模型节点；
使用“已看到、暂未看到、无法确认”三状态输出；
在无关输入时不调用摄像头；
通过提示词约束避免将“暂未看到”表达为“确定没带”。

该方案结构清晰、开发成本可控，适合扩展为老年人随身物品检查、通勤清单、就医清单和家庭照护辅助工具。

CSDN发布信息

文章摘要

本文介绍“安心出门”智能眼镜随身物品检查助手的设计与实现，涵盖百宝箱工作流编排、眼镜端拍照插件、多模态视觉模型、默认与自定义清单、三状态检查结果、提示词约束及真机测试方案。