10分钟跑通VibeVoice-ASR-Streaming-1.5B：从HuggingFace下载到实时语音转写Demo快速上手教程-平芜编程栈

语音
人工智能

【免费下载链接】VibeVoice-ASR-Streaming-1.5B

项目地址：https://ai.gitcode.com/hf_mirrors/microsoft/VibeVoice-ASR-Streaming-1.5B

VibeVoice-ASR-Streaming-1.5B 是微软开源的流式实时语音转写模型，能在语音持续输入的同时边听边转写，并且能区分"谁说了什么"（Speaker-Attributed Transcription），支持中文、英文等10 种语言。这篇文章带你从零开始，在 10 分钟内完成模型下载并跑通实时转写 Demo。

一、为什么选择 VibeVoice-ASR-Streaming？

传统的语音识别（ASR）工具通常需要"录完一段 → 整段上传 → 等待转写结果"，而流式 ASR（Streaming ASR）可以做到话音未落、文字已出。VibeVoice-ASR-Streaming 在这基础上还有三大亮点 🎯：

核心特性	说明
📝 流式说话人归属转写	边听边转写，同时标注说话人和内容
👤 自定义热词（Hotwords）	支持传入人名、专有术语等热词，显著提升垂直领域的识别准确率
🌍 多语言支持	中、英、法、德、意、日、韩、葡、俄、西共 10 种语言

💡 适合场景：会议纪要、直播字幕、客服质检、多语种实时翻译等需要"低延迟 + 说话人区分"的应用。

模型基于 MIT 协议开源，可直接商用 🎉

二、模型文件结构速览

从 HuggingFace 下载完成后，你会得到一份典型的 HuggingFace 模型仓库结构。以本仓库为例，各文件分工如下：

文件	作用
README.md	项目说明、特性与多语言列表
config.json	模型核心配置：音频采样率、分词器结构、解码器参数等
model-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensors	模型权重（分片存储）
model.safetensors.index.json	权重分片索引，加载时用于自动拼装完整模型
tokenizer.json、vocab.json、merges.txt	文本分词器相关文件
preprocessor_config.json	音频预处理配置
added_tokens.json、special_tokens_map.json	特殊/新增 token 定义

几个值得新手注意的配置细节（来自 config.json）：

target_sample_rate: 24000—— 模型期望的音频采样率为24 kHz，喂入音频前需统一采样率；
model_type: vibevoice—— 采用声学/语义双 VAE Tokenizer + 扩散解码头（Diffusion Head）的流式架构；
transformers_version: 4.51.3—— 官方基于 transformers 库构建，建议安装时版本对齐，减少踩坑。

三、第一步：从 HuggingFace 下载模型（约 3 分钟）

方式 A：命令行一键下载（推荐）

安装huggingface_hub后执行：

pip install "huggingface_hub[cli]"

huggingface-cli download microsoft/VibeVoice-ASR-Streaming-1.5B --local-dir ./VibeVoice-ASR-Streaming-1.5B

执行完毕后，当前目录下会出现VibeVoice-ASR-Streaming-1.5B文件夹，内含上文列出的全部文件。

方式 B：Python 代码下载

from huggingface_hub import snapshot_download model_dir = snapshot_download( "microsoft/VibeVoice-ASR-Streaming-1.5B", local_dir="./VibeVoice-ASR-Streaming-1.5B" ) print("模型已下载到:", model_dir)

⚠️ 网络提示：如果直连 HuggingFace 速度慢，可设置国内镜像环境变量后再执行上述命令，无需改动任何代码：
export HF_ENDPOINT=https://hf-mirror.com

四、第二步：用 Transformers 加载模型（约 2 分钟）

安装依赖（建议 GPU 环境，显存约 4GB+ 即可运行）：

pip install transformers torch

加载模型的核心思路很简单——指定本地目录，指定任务为语音识别（automatic-speech-recognition）：

import torch from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor model_dir = "./VibeVoice-ASR-Streaming-1.5B" processor = AutoProcessor.from_pretrained(model_dir) model = AutoModelForSpeechSeq2Seq.from_pretrained( model_dir, torch_dtype=torch.bfloat16 # 半精度加载，显存更省、推理更快 ) model.eval()

加载成功后，processor负责音频预处理（重采样、分帧），model负责流式解码出文本。

五、第三步：跑通实时转写 Demo（约 3 分钟）

以"整段音频快速验证"为例，这是最容易上手的第一步：

import numpy as np from transformers import pipeline pipe = pipeline( "automatic-speech-recognition", model=model, processor=processor, ) # 假设 test.wav 是一段 16k/24k 采样率的语音 import librosa audio, _ = librosa.load("test.wav", sr=24000) # 统一为模型要求的 24kHz result = pipe(audio) print(result["text"]) # 输出转写文本

升级为"边说边出"的流式转写

实时流式 Demo 的通用套路是：把音频按小块（如每 500ms）切分 → 依次送入模型 → 每次拿到增量文本。伪代码示意如下：

chunk_seconds = 0.5 # 每次送入 0.5 秒 chunk = int(chunk_seconds * 24000) # 按 24kHz 计算分片长度 for i in range(0, len(audio), chunk): segment = audio[i : i + chunk] text = pipe(segment, streamer=True) # 流式输出增量文本 print(f"[{i // 24000:.1f}s] {text}", flush=True)

接入麦克风实时转写的完整工程（VAD 端点检测、说话人区分、热词注入等）请参考仓库说明 README.md 及官方技术报告，核心 API 与上面保持一致。

六、使用小贴士 🛠️

采样率对齐：始终先把音频重采样到24 kHz再送入模型，避免前处理阶段报错。
热词提升准确率：业务场景中把人名、产品名、技术术语作为 Customized Hotwords 传入，能明显减少专有名词的识别错误。
说话人区分：模型输出天然带有说话人归属信息，做会议纪要时可直接按发言人分段落。
多语言混说：同一通对话中英文夹杂时，无需切换语言设置，模型自动适配（覆盖中、英、法、德、意、日、韩、葡、俄、西 10 种语言）。
版本对齐：pip install transformers==4.51.3可与 config.json 中的transformers_version保持一致，最大程度复现官方效果。

七、总结

步骤	内容	预计耗时
1️⃣	`huggingface-cli download`下载模型	约 3 分钟
2️⃣	`AutoModelForSpeechSeq2Seq`加载本地模型	约 2 分钟
3️⃣	`pipeline`跑通整段 / 流式转写	约 3 分钟

VibeVoice-ASR-Streaming-1.5B 把"流式低延迟 + 说话人归属 + 多语言 + 自定义热词"四合一装进了一个 1.5B 的轻量模型里。完成本文三步，你就已经拥有了一个可用的实时语音转写Demo；接下来只需把librosa.load换成麦克风输入流，即可上线自己的实时字幕应用 🚀