qwen-audio-agent日常功能全攻略:语音笔记、定时提醒与实时摄像头输入
【免费下载链接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents项目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent
qwen-audio-agent 是一个开源实时语音运行时,让 AI Agent 能持续交流、持续工作、始终在场。本文带你快速上手它的三大日常实用功能:语音笔记(清单)、定时提醒和实时摄像头输入——全程动嘴就能完成,无需复杂配置。
30秒认识 qwen-audio-agent
它的工作方式很简单:能直接回答的问题,语音前台立即回答;需要查资料、调用工具或持续处理的,交给后台 Agent 异步执行,而对话全程不会中断。
使用前先完成一次语音对话验证即可:参考快速开始文档,配置语音前台的 API Key,启动 Gateway,再打开 WebUI 或终端 TUI 就能开口聊天了。
功能一:语音笔记与购物清单 🗒️
不用打开任何 App,说一句话就能建清单、记事项。
一句话创建清单
直接说出清单名称和要做的修改:
- “建一个购物清单,加入牛奶和鸡蛋。”
- “看看购物清单。”
- “从购物清单里删掉鸡蛋。”
- “清空购物清单。”——只删条目,保留清单
- “删除购物清单。”——删掉整个清单
清单数据默认保存在本地frontend-notes.json,重启后依然保留,而且不需要后台 Agent 也能用——纯前台模式即可。如果想关闭这个工具,在配置中设置QWEN_AUDIO_NOTES_TOOL_ENABLED=false即可。
功能二:定时提醒 ⏰
快速设置提醒的步骤
试试直接说:
- “十分钟后提醒我喝水”
- “每个工作日九点提醒我开会”
当前支持一次性、每天、每周、工作日四种调度方式。助手确认时会播报具体的触发时间和内容,时间不明确时它会主动追问日期、时区或时刻。
两种提醒要分清:
| 说法 | 类型 | 需要什么 |
|---|---|---|
| “提醒我查看报告” | 到点播报 | 仅前台,随时可用 |
| “明早查天气再告诉我” | 到点执行任务 | 需要配置后台 Agent |
还可以直接询问“我已经设了哪些提醒”,或要求取消;取消重复提醒时说明是否取消整个系列。
提醒准时响的三个前提
提醒由创建它的 Gateway 管理,想准时触发请做到:保持该 Gateway 运行、主机不休眠、并且有一个能播报的客户端保持连接。提醒记录会持久化,Gateway 重启后会补处理仍在等待的提醒——但它不是系统闹钟或手机推送,离线时无法保证准点。
功能三:实时摄像头输入 📷
WebUI 摄像头四步开启
想让 AI“看见”你眼前的东西?标准 WebUI 支持实时摄像头输入:
- 选择支持视频输入的语音前台,如 Qwen Omni、Google Live,或使用
mode=video的 MiniCPM-o - 启动 Gateway 并打开 WebUI,顶部除了“开启麦克风”,会多出一个“开启视频”按钮
- 点击“开启视频”并允许摄像头权限,预览小窗自动显示,开始发送实时画面
- 点“关闭视频”或关闭小窗即可停止采集并释放摄像头
摄像头与麦克风互不干扰
这是很多用户关心的细节:
- 独立控制:静音不会关闭视频,相机权限被拒时仍可语音对话
- 限频 JPEG 帧:实时画面以限频帧发送,不是上传视频文件
- 不会乱说话:画面帧本身不会创建消息或触发回复,配合语音提问即可
- 不存图:画面不会自动存入聊天附件、历史记录或资料库
- 注意:纯音频模型不会因为开了摄像头就获得视觉能力,控件可用性由 Gateway 协商的能力决定;远程浏览器访问需要可信 HTTPS,本机用
localhost即可
⚠️隐私提醒:采集前请关闭含密码、密钥或私密消息的窗口;云端视觉服务会收到你发送的画面。用完记得关闭视频,切回纯语音对话。
小结:动嘴就能办日常
| 功能 | 一句话触发 | 依赖 |
|---|---|---|
| 语音笔记 | “建个购物清单加牛奶” | 仅前台 |
| 定时提醒 | “十分钟后提醒我喝水” | 到点播报仅前台 |
| 摄像头输入 | WebUI 点“开启视频” | 支持视频的语音前台 |
更多细节可阅读官方文档:清单与提醒指南、视觉输入指南、WebUI 使用文档。
【免费下载链接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents项目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考