news 2026/10/17 6:46:26

边聊天边干活: Qwen Audio 开源全双工语音模型,13 个agent 全线开工

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
边聊天边干活: Qwen Audio 开源全双工语音模型,13 个agent 全线开工

你还在对着 AI 干等?有人让它"边聊天边干活",我用完再也回不去了

你有没有过这种经历?

你对语音助手说:"帮我查一下这周的天气,顺便整理下周的行程。"

然后,它沉默了。

三秒、五秒、十秒……你盯着屏幕,不知道它是死机了,还是在思考人生。

这一刻你才发现:我们明明是在"对话",却被迫陪它"等待"。

现在,一个叫qwen-audio-agent的开源项目,想把这个问题彻底解决掉。

一、先说人话:它到底是个啥?

用一句最通俗的话概括:

它让 AI 学会"一边跟你聊天,一边在后台干活"。

想象你有一位真人助理:

  • 你说:"帮我把这份报告改一下。"

  • 助理说:"好的,我去处理。"然后转身去干活。

  • 你们接着聊:"对了,下午那个会几点?"

  • 助理马上回你:"三点。"

  • 过了一会儿,助理走过来:"报告改好了。"

自然、流畅、不冷场。

但现在大部分 AI 是什么样?更像一个只能单线程工作的实习生:你问一句,它闷头干,干完才理你。干活的时候你喊它,它听不见。

qwen-audio-agent 要做的,就是把"实习生"升级成"会一心二用的助理"。

项目的官方说法很有意思,叫"Agent,始终在场":交流应该是连续的,不该因为 AI 在查资料、调工具,整场对话就暂停。

二、它有哪些让人眼前一亮的地方?

我把项目介绍里的核心特色翻译成"人话":

1. 你可以随时打断它
和真人聊天一样,它说话的时候你直接开口,它就会停下来听你说。官方称之为"全双工实时语音",说白了就是能说也能听,而且是同时。对讲机是你说完我再说,打电话才是想怎么插话就怎么插话。

2. 对话和干活,同时进行
它在后台处理任务时,你还能继续聊别的、问进度,甚至说"算了,别做了",直接取消任务。

3. 活干完了,主动告诉你
任务结果会自动回到当前对话里,你还可以接着追问:"这里再改一下。"

4. 它是个"万能插座"
它自己不是干活的主力,更像一个会说话的前台:你说的需求,它转手交给后台各路 AI 员工去办。目前支持 OpenCode、OpenClaw、Qoder、Hermes、CodeBuddy、Codex 等一堆 Agent,还留了通用接口,别的 Agent 也能接进来。

5. 它还有"记忆"
你的称呼、偏好、常用项目,它都能记。而且这些数据存在你自己的电脑里,不是传到别人的服务器上。

6. 颜值也在线
Mac 用户可以在桌面上放一个"语音悬浮球",有"流光声波球"和"液态渐变球"两种样式。AI 思考的时候它会像呼吸一样律动。

三、为什么说这件事"有争议"?

说回标题。为什么我敢说"回不去了"?因为它戳中了一个行业里很少被正面讨论的问题:

AI 不是不够聪明,而是交互太"笨"。

过去两年,大家都在比拼谁的模型更强、跑分更高。但对普通人来说,体验卡在哪?

  • 要等:任务一长,对话就"死"了

  • 要打字:想说话,又怕它听不懂

  • 不能插嘴:它念一大段你只能听着

有人会反驳:"语音交互不靠谱,打字才是效率之王。"这话没错,写代码、改文档,打字确实更精准。

但换个场景:开车、做饭、抱着孩子、躺着刷手机的时候,你根本腾不出手。这些时刻,"能随时插话、不让你干等"的语音助手,才是真需求。

所以真正的争议是:未来人和 AI 的主要交互方式,是键盘,还是声音?你站哪一边?欢迎评论区开战。

四、普通人能用吗?

需要说句实话:目前它主要面向有一点技术基础的用户,因为安装要用命令行。不过整个流程并不复杂,而且有免费体验额度:

  • 它基于阿里云百炼提供的Qwen Audio 3.0 Realtime语音模型

  • 官方说明新用户创建 API Key 后可以免费体验

  • 项目采用Apache-2.0 开源协议,可以自由使用和修改

不过也有几点要提醒(这是项目文档里自己写明的,说明作者比较坦诚):

  • 你的麦克风音频会发送到云端的语音服务,别在对话里念密码、验证码

  • 后台 Agent 如果被授予"完全权限",是可以执行命令、修改文件的,只建议在可信项目里开

  • 服务默认只供本机访问,别随便暴露到公网

好用,但别裸奔。

下面是给技术爱好者的"硬核部分"

不想看代码的朋友,到这里就可以点赞收藏了。想看门道的,继续。

1. 架构思路:前台 + 后台,两层分工

根据项目的架构图和说明,核心思路是把系统拆成两层:

精髓在于"解耦":负责说话的和负责干活的不是同一个东西,所以"干活"阻塞不了"说话"。对用户来说始终是同一个助理,背后其实是分工协作。

2. 上手:几条命令就能跑起来

...Python

qwenaudio tui --audio-mode full

环境要求:Node.js 22.22.2+ 或 24.15.0+,npm 10+,以及一个 DashScope API Key。

# 安装 npm install -g qwen-audio-agent # 生成配置文件 qwenaudio config

编辑 config.env:

DASHSCOPE_API_KEY=your-key AGENT_PROTOCOL=openclaw

启动:

# 终端 1:启动 Gateway qwenaudio # 终端 2:启动终端界面 qwenaudio tui # 或者用浏览器界面 qwenaudio webui

想让它像真正的助理一样常驻后台:

qwenaudio gateway install qwenaudio gateway status

3. 切换后台 Agent:改一行配置

...Python

AGENT_PROTOCOL=opencode # 用 OpenCode

AGENT_PROTOCOL=qoder # 用 Qoder QODER_MODEL=auto

4. 接入"任意" Agent:ACP 通用协议

这是我觉得最有想象力的设计。只要你的 Agent 支持ACP(stdio),不用改 Gateway 一行代码就能接入:

...Python

AGENT_PROTOCOL=acp

ACP_COMMAND=your-agent ACP_ARGS=["--acp"] ACP_LABEL=我的Agent ACP_WORKSPACE=/path/to/project
这意味着你完全可以把自己写的 Agent 接进来,给它装上一张"会说话的嘴"。

5. 一个概念示意:任务不阻塞对话是怎么做到的?

...Python

qwenaudio tui --audio-mode full

// 前台收到一句话后的决策 async function onUserUtterance(text: string) { if (canAnswerDirectly(text)) { return speak(await answer(text)); // 能直接答:立刻说 } // 需要工具/长任务:不 await,丢给后台 const taskId = backend.dispatch(text); speak("好的,我去处理。"); // 立刻回应,对话不中断 // 任务完成时,结果主动回灌对话 backend.onDone(taskId, (result) => { context.append(result); // 结果进入当前上下文 speak("已经好了。"); // 自然地通知用户 }); } // 用户随时可以查询或取消 function onUserAsk(taskId: string, intent: "progress" | "cancel") { return intent === "cancel" ? backend.cancel(taskId) : speak(backend.progress(taskId)); }

关键点就三个:不阻塞、可回灌、可控制。这也正是传统"问一句等一句"模式做不到的。

6. 数据都存在哪?

用户数据保存在本机 ~/.config/qwaudio/:

文件

作用

USER.md

称呼、所在地、偏好、常用项目(可直接手改)

frontend-memory.json

你明确要求"长期记住"的信息

tasks.json

任务结果和待通知状态

7. 权限安全:默认保守

...Python

# 默认 native:后台 Agent 需要时会先问你

# 仅在可信项目、且接受自动执行命令/改文件时才开启:

QWEN_AUDIO_AGENT_BACKEND_PERMISSION_MODE=full

8. 跨平台注意事项

平台

默认模式

打断方式

macOS

带回声消除的全双工

直接说话

Linux / Windows

半双工

播报时按

x

没有回声消除的情况下用全双工,AI 会把扬声器的声音当成你在说话,导致误识别,所以请戴耳机:

...Python

qwenaudio tui --audio-mode full

写在最后

AI 的下一个战场,可能不是"谁更聪明",而是"谁更像人"。

像人,不是长得像,而是相处起来舒服:你说话它能听,你打断它能停,它忙着的时候不装死,忙完了会主动告诉你一声"好了"。

这个项目目前在 GitHub 上还是个新项目,还有不少需要打磨的地方,比如对非 Mac 平台的体验、对新手的安装门槛。但它指出的方向,我觉得是对的。

更多transformer,VIT,swin tranformer 参考头条号:人工智能研究所 v号:人工智能研究Suo, 启示AI科技

动画详解transformer 在线视频教程


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/17 6:46:25

大模型工程师薪资揭秘:小白也能入局的高薪赛道,速收藏!

本文揭秘了普通开发、算法、大模型岗位的薪资区间,涵盖初级到专家级别。通过数据分析,展示了普通开发、传统算法工程师和大模型算法工程师的薪资分布,并提供了判断自身价值的简单方法。对于想进入大模型领域的小白或程序员来说,这…

作者头像 李华
网站建设 2026/10/17 6:46:19

元学习简单入门

元学习概念 传统机器学习得到的模型擅长的是已经学习过的任务,现在希望训练出一个模型 ,在遇到新任务时,只需要很少的样本、梯度更新,就能获得不错的表现。 元学习目标是得到一个能利用少量样本快速进行新任务的模型。 MAML&…

作者头像 李华
网站建设 2026/10/17 6:45:19

Mamba学习笔记(前置知识版)

一、RMSNorm(均方根归一化) “均方根”这个名字就是计算顺序:原始数值平方 → 求平均 → 开平方。 以[-5,-5,-5]举例,RMS, 然后每个原始特征都除以这个尺度: [-5/5,-5/5,-5/5][-1,-1,-1] 二、输入投影…

作者头像 李华
网站建设 2026/10/17 6:45:13

PHP代码注入深度解析:从漏洞利用到蚁剑Shell与防御实战

1. 从一条请求说起:PHP代码注入到底在防什么很多做Web安全的朋友,第一次接触代码执行类漏洞,都是从PHP代码注入开始的。它不像SQL注入那样有明确的“数据与指令混淆”边界,也不像XSS那样主要影响前端用户,PHP代码注入的…

作者头像 李华
网站建设 2026/10/17 6:44:58

Ionic 头部与底部:Header 与 Footer 组件实战详解

1. 引言在移动端应用开发中,页面顶部和底部的固定区域是承载导航、标题、操作按钮等核心功能的重要部分。Ionic 框架提供了 Header(头部) 和 Footer(底部) 两个基础组件,帮助开发者快速搭建结构清晰、体验一…

作者头像 李华