你还在对着 AI 干等?有人让它"边聊天边干活",我用完再也回不去了
你有没有过这种经历?
你对语音助手说:"帮我查一下这周的天气,顺便整理下周的行程。"
然后,它沉默了。
三秒、五秒、十秒……你盯着屏幕,不知道它是死机了,还是在思考人生。
这一刻你才发现:我们明明是在"对话",却被迫陪它"等待"。
现在,一个叫qwen-audio-agent的开源项目,想把这个问题彻底解决掉。
一、先说人话:它到底是个啥?
用一句最通俗的话概括:
它让 AI 学会"一边跟你聊天,一边在后台干活"。
想象你有一位真人助理:
你说:"帮我把这份报告改一下。"
助理说:"好的,我去处理。"然后转身去干活。
你们接着聊:"对了,下午那个会几点?"
助理马上回你:"三点。"
过了一会儿,助理走过来:"报告改好了。"
自然、流畅、不冷场。
但现在大部分 AI 是什么样?更像一个只能单线程工作的实习生:你问一句,它闷头干,干完才理你。干活的时候你喊它,它听不见。
qwen-audio-agent 要做的,就是把"实习生"升级成"会一心二用的助理"。
项目的官方说法很有意思,叫"Agent,始终在场":交流应该是连续的,不该因为 AI 在查资料、调工具,整场对话就暂停。
二、它有哪些让人眼前一亮的地方?
我把项目介绍里的核心特色翻译成"人话":
1. 你可以随时打断它
和真人聊天一样,它说话的时候你直接开口,它就会停下来听你说。官方称之为"全双工实时语音",说白了就是能说也能听,而且是同时。对讲机是你说完我再说,打电话才是想怎么插话就怎么插话。
2. 对话和干活,同时进行
它在后台处理任务时,你还能继续聊别的、问进度,甚至说"算了,别做了",直接取消任务。
3. 活干完了,主动告诉你
任务结果会自动回到当前对话里,你还可以接着追问:"这里再改一下。"
4. 它是个"万能插座"
它自己不是干活的主力,更像一个会说话的前台:你说的需求,它转手交给后台各路 AI 员工去办。目前支持 OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex 等一堆 Agent,还留了通用接口,别的 Agent 也能接进来。
5. 它还有"记忆"
你的称呼、偏好、常用项目,它都能记。而且这些数据存在你自己的电脑里,不是传到别人的服务器上。
6. 颜值也在线
Mac 用户可以在桌面上放一个"语音悬浮球",有"流光声波球"和"液态渐变球"两种样式。AI 思考的时候它会像呼吸一样律动。
三、为什么说这件事"有争议"?
说回标题。为什么我敢说"回不去了"?因为它戳中了一个行业里很少被正面讨论的问题:
AI 不是不够聪明,而是交互太"笨"。
过去两年,大家都在比拼谁的模型更强、跑分更高。但对普通人来说,体验卡在哪?
要等:任务一长,对话就"死"了
要打字:想说话,又怕它听不懂
不能插嘴:它念一大段你只能听着
有人会反驳:"语音交互不靠谱,打字才是效率之王。"这话没错,写代码、改文档,打字确实更精准。
但换个场景:开车、做饭、抱着孩子、躺着刷手机的时候,你根本腾不出手。这些时刻,"能随时插话、不让你干等"的语音助手,才是真需求。
所以真正的争议是:未来人和 AI 的主要交互方式,是键盘,还是声音?你站哪一边?欢迎评论区开战。
四、普通人能用吗?
需要说句实话:目前它主要面向有一点技术基础的用户,因为安装要用命令行。不过整个流程并不复杂,而且有免费体验额度:
它基于阿里云百炼提供的Qwen Audio 3.0 Realtime语音模型
官方说明新用户创建 API Key 后可以免费体验
项目采用Apache-2.0 开源协议,可以自由使用和修改
不过也有几点要提醒(这是项目文档里自己写明的,说明作者比较坦诚):
你的麦克风音频会发送到云端的语音服务,别在对话里念密码、验证码
后台 Agent 如果被授予"完全权限",是可以执行命令、修改文件的,只建议在可信项目里开
服务默认只供本机访问,别随便暴露到公网
好用,但别裸奔。
下面是给技术爱好者的"硬核部分"
不想看代码的朋友,到这里就可以点赞收藏了。想看门道的,继续。
1. 架构思路:前台 + 后台,两层分工
根据项目的架构图和说明,核心思路是把系统拆成两层:
精髓在于"解耦":负责说话的和负责干活的不是同一个东西,所以"干活"阻塞不了"说话"。对用户来说始终是同一个助理,背后其实是分工协作。
2. 上手:几条命令就能跑起来
...Python
qwenaudio tui --audio-mode full
环境要求:Node.js 22.22.2+ 或 24.15.0+,npm 10+,以及一个 DashScope API Key。
# 安装 npm install -g qwen-audio-agent # 生成配置文件 qwenaudio config编辑 config.env:
DASHSCOPE_API_KEY=your-key AGENT_PROTOCOL=openclaw启动:
# 终端 1:启动 Gateway qwenaudio # 终端 2:启动终端界面 qwenaudio tui # 或者用浏览器界面 qwenaudio webui想让它像真正的助理一样常驻后台:
qwenaudio gateway install qwenaudio gateway status3. 切换后台 Agent:改一行配置
...Python
AGENT_PROTOCOL=opencode # 用 OpenCode
AGENT_PROTOCOL=qoder # 用 Qoder QODER_MODEL=auto4. 接入"任意" Agent:ACP 通用协议
这是我觉得最有想象力的设计。只要你的 Agent 支持ACP(stdio),不用改 Gateway 一行代码就能接入:
...Python
AGENT_PROTOCOL=acp
ACP_COMMAND=your-agent ACP_ARGS=["--acp"] ACP_LABEL=我的Agent ACP_WORKSPACE=/path/to/project这意味着你完全可以把自己写的 Agent 接进来,给它装上一张"会说话的嘴"。5. 一个概念示意:任务不阻塞对话是怎么做到的?
...Python
qwenaudio tui --audio-mode full
// 前台收到一句话后的决策 async function onUserUtterance(text: string) { if (canAnswerDirectly(text)) { return speak(await answer(text)); // 能直接答:立刻说 } // 需要工具/长任务:不 await,丢给后台 const taskId = backend.dispatch(text); speak("好的,我去处理。"); // 立刻回应,对话不中断 // 任务完成时,结果主动回灌对话 backend.onDone(taskId, (result) => { context.append(result); // 结果进入当前上下文 speak("已经好了。"); // 自然地通知用户 }); } // 用户随时可以查询或取消 function onUserAsk(taskId: string, intent: "progress" | "cancel") { return intent === "cancel" ? backend.cancel(taskId) : speak(backend.progress(taskId)); }关键点就三个:不阻塞、可回灌、可控制。这也正是传统"问一句等一句"模式做不到的。
6. 数据都存在哪?
用户数据保存在本机 ~/.config/qwaudio/:
文件 | 作用 |
USER.md | 称呼、所在地、偏好、常用项目(可直接手改) |
frontend-memory.json | 你明确要求"长期记住"的信息 |
tasks.json | 任务结果和待通知状态 |
7. 权限安全:默认保守
...Python
# 默认 native:后台 Agent 需要时会先问你
# 仅在可信项目、且接受自动执行命令/改文件时才开启:
QWEN_AUDIO_AGENT_BACKEND_PERMISSION_MODE=full
8. 跨平台注意事项
平台 | 默认模式 | 打断方式 |
macOS | 带回声消除的全双工 | 直接说话 |
Linux / Windows | 半双工 | 播报时按 x |
没有回声消除的情况下用全双工,AI 会把扬声器的声音当成你在说话,导致误识别,所以请戴耳机:
...Python
qwenaudio tui --audio-mode full
写在最后
AI 的下一个战场,可能不是"谁更聪明",而是"谁更像人"。
像人,不是长得像,而是相处起来舒服:你说话它能听,你打断它能停,它忙着的时候不装死,忙完了会主动告诉你一声"好了"。
这个项目目前在 GitHub 上还是个新项目,还有不少需要打磨的地方,比如对非 Mac 平台的体验、对新手的安装门槛。但它指出的方向,我觉得是对的。
更多transformer,VIT,swin tranformer 参考头条号:人工智能研究所 v号:人工智能研究Suo, 启示AI科技动画详解transformer 在线视频教程