简介：基于Python的中文语音识别系统项目，面向人工智能、语音识别方向的开发者与学习者。系统由声学模型和语言模型两部分组成，均基于神经网络实现，覆盖从特征输入到解码识别的完整流程。资源共88个文件，以29个Python脚本和29个文本说明为主，辅以训练列表、模型缓存与Markdown文档，压缩包大小34.52MB，结构清晰。声学模型部分提供GRU-CTC、CNN-CTC及DFCNN框架的多种实现，语言模型则包含基于CBHG结构的方案，并集成stc、primewords、Aishell、thchs30四个数据集的调用脚本，便于直接训练和对比实验。已有4040人学习，适合希望深入理解语音识别模型搭建和开展项目实践的读者。
1. 为什么语音识别项目实践首先要选 Python
如果你以为语音识别项目的难点全在模型上，那会走很多弯路。真实场景里，至少有一半时间耗在音频格式、采样率、环境噪声和结果后处理上。Python 的生态恰好把这串活都压成了几个 import：读音频有 librosa，调接口有 SpeechRecognition，跑本地模型有 Vosk 或 Whisper。这也是为什么“使用 Python 进行语音识别”能成为人工智能项目实践中最常见的选题。
两类人适合往下读：一类是刚接触 python 入门课程、需要交一个人工智能大作业的学生，另一类是想在数据不出内网的前提下快速搭一个语音转文字 POC 的工程师。下面按项目实践的顺序展开：先理解音频到文本的链路，再跑可复现的代码，最后做参数调优和工程化。开篇提个醒：别一上来就训练声学模型，绝大多数项目用现成推理库就能达到可用水平，你要解决的是怎么把音频正确送进模型，再把模型吐出的文本变成业务想要的结果。
2. 语音识别项目实践：先摸清音频到文本的完整流水线
2.1 音频输入：采样率、位深和声道决定识别上限
当麦克风或音频文件进来时，识别器看到的只是一串数字。先说采样率，常见语音识别模型按 16kHz 单声道训练，CD 音质 44.1kHz 对模型并没有帮助，反而增加计算量。位深通常 16bit，声道需要合并成单声道。如果喂进去的音频是 8kHz 电话音或 48kHz 视频音轨，识别结果会明显劣化。
import librosa import soundfile as sf # 读文件时强制重采样到 16kHz，单声道 y, sr = librosa.load("meeting.wav", sr=16000, mono=True) # 查看时长与采样点数 print(f"采样率: {sr}, 时长: {len(y)/sr:.2f}s") # 如果是多声道，librosa 在加载时已经做了混音 # 如果需要精确控制，可以用 soundfile 检查原始属性 info = sf.info("meeting.wav") print(f"原始采样率: {info.samplerate}, 声道数: {info.channels}")逻辑说明：librosa.load 的 sr 参数填 16000，会内部完成重采样和混音，mono=True 合并声道。这是后续所有识别器共同的前置要求。注意如果原始音频已经是 16kHz，sr=16000 不会重复处理；如果不是，librosa 会启用默认的插值算法，代价是丢失少量高频细节。对于绝大多数语音识别任务来说，这个损失可接受。
参数说明：sr 是整个流水线的基准值，Vosk 和 Whisper 对 16k 音频最友好；mono 必须为 True，否则多声道信号会在特征提取阶段产生相位抵消。info.samplerate 可以用来判断错误音频来源，比如网上下载的 mp4 音轨往往是 44.1k 或 48k，直接丢给识别器等于做了一次看不见质量的降采样。
2.2 特征提取：MFCC 为什么是语音识别的通用接口
这一步是传统语音识别的核心。人耳对频率的感知不是线性的，所以把音频切帧、加窗，做 FFT 得到频谱，再映射到 Mel 刻度，最后取倒谱系数得到 MFCC。在端到端模型里，模型可以直接吃原始波形或 log-mel 谱，但 MFCC 仍然是理解预处理逻辑的钥匙。
import librosa import numpy as np y, sr = librosa.load("meeting.wav", sr=16000) # 提取 MFCC，默认 13 维 mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13, n_fft=400, hop_length=160) # 每帧 25ms，帧移 10ms，得到约 13 * 帧数 的矩阵 print(f"MFCC 形状: {mfcc.shape}")参数说明：n_fft=400 对应 400/16000=25ms 的窗长，hop_length=160 是 10ms 帧移，这是语音识别最常用的配置。n_mfcc=13 是标准值，有些系统会取 39 维（静态+一阶差分+二阶差分），但模型在深度学习时代已经不太需要手动拼接差分。mfcc.shape[1] 决定了送入模型的时间步数，按 10ms 一个特征帧计算，10 秒音频约 1000 帧。实际做项目时，不需要自己写 MFCC 提取，但如果你调试的模型是自定义训练的，这一层就要和训练时保持一致，否则特征分布对不上。
2.3 模型层：传统声学模型与端到端模型的本质区别
传统方案里，GMM-HMM 负责把 MFCC 映射到音素状态，再用语言模型解码成文字。端到端模型则直接学习音频到字符或词片的映射，比如 CTC、Attention 以及最近的 Transformer 结构。作为项目实践，你不需要重新训练，但选模型时要理解这个区别：传统模型对算力要求低，适合嵌入式；端到端模型（如 Whisper）对长音频和复杂场景更稳，但要消耗 GPU。
| 模型方案 | 计算资源 | 中文效果 | 部署复杂度 | 适合场景 |
|---|---|---|---|---|
| Vosk (Kaldi系) | CPU 可跑 | 良好 | 低，模型文件小 | 离线命令词、智能硬件 |
| Whisper (端到端) | CPU 慢，GPU 好 | 良好 | 中，模型大 | 长音频转写、会议记录 |
| 在线 API | 无本地计算 | 取决于厂商 | 低，但依赖网络 | 原型 Demo、快速验证 |
实际选择时，我一般会先问三件事：是否允许数据出内网，有没有 GPU，实时性要求多高。三项答案决定你该用哪一行。如果只是交一个人工智能大作业，在线 API 最容易做出效果；如果是公司项目，离线模型会更稳妥。
2.4 工具选型：SpeechRecognition、Vosk、Whisper 各自解决什么问题
SpeechRecognition 是一个统一的封装库，它把 Google、IBM、百度等在线引擎和 PocketSphinx 等本地引擎收在同一套接口后面。Vosk 是离线识别工具库，提供中文模型，延迟低，适合嵌入式。Whisper 是 OpenAI 开源的端到端模型，对长音频、标点、多语言支持好，但显存占用高。就“人工智能-项目实践-语音识别”这个主题来说，我建议先跑通 SpeechRecognition 在线接口，再切 Vosk 做离线，最后按需求升级到 Whisper。这样每一步都有对照，不会一头扎进训练。
3. 使用 python 语音识别：三条可复现的实现路径
3.1 在线识别最快路径：SpeechRecognition 麦克风转文字
先装依赖：pip install SpeechRecognition pyaudio。Pyaudio 是麦克风采样的底层库，Windows 上装不上时用 pipwin 或 conda。下面这段代码是完整的麦克风识别：
import speech_recognition as sr r = sr.Recognizer() with sr.Microphone() as source: print("请说话...") # 校准环境噪声 r.adjust_for_ambient_noise(source, duration=1) audio = r.listen(source, timeout=5, phrase_time_limit=10) # 调用在线识别（默认 Google Web Speech API） try: text = r.recognize_google(audio, language="zh-CN") print("识别结果:", text) except sr.UnknownValueError: print("无法识别") except sr.RequestError as e: print(f"请求失败: {e}")逻辑说明：adjust_for_ambient_noise 会根据 1 秒环境声计算噪声底限，listen 在 timeout 秒内等待语音开始，开始后最多记录 phrase_time_limit 秒语音。recognize_google 把音频发到接口，language 指定中文。这个方法适合快速验证整条链路，但结果受网络环境影响，数据安全上也要注意。
参数说明：timeout 调大能避免用户思考太久被截断，phrase_time_limit 调大能让一次说话时间更长。如果你的项目是命令词识别，phrase_time_limit 建议设 3 秒，减少尾部误判。recognize_google 可以传 show_all=True 拿到置信度和备选结果，便于调试。SpeechRecognition 还支持 record 方法读文件，audio = r.record(source, duration=10)可以直接处理 WAV。
3.2 离线识别落地路径：Vosk 模型加载与文件识别
Vosk 是阿帕奇许可的本地识别工具，不需要 GPU，模型文件几十兆到一百多兆。先pip install vosk，再下载中文模型，解压后放项目目录。
import json from vosk import Model, KaldiRecognizer import wave # 加载中文模型，注意模型文件夹名要与实际一致 model = Model("vosk-model-cn-0.15") rec = KaldiRecognizer(model, 16000) # 打开16kHz单声道wav with wave.open("meeting.wav", "rb") as wf: if wf.getframerate() != 16000: raise ValueError("采样率必须为16000") while True: data = wf.readframes(4000) if len(data) == 0: break if rec.AcceptWaveform(data): # 每识别一段，返回一个完整句子 result = json.loads(rec.Result()) print(result.get("text", "")) # 中间结果可以读取 PartialResult 做实时显示 final = json.loads(rec.FinalResult()) print(final.get("text", ""))逻辑说明：KaldiRecognizer 以 16kHz 为基准，readframes(4000) 读取 4000 个采样点，约 250ms 的音频送入识别器。AcceptWaveform 返回 True 说明已经有完整句子，result 里的 text 字段就是句子文本。FinalResult 在音频结束后调用，用于清空缓冲并输出最后一句话。
参数说明：如果你的 WAV 是 24kHz 或 48kHz，必须先用 librosa 重采样到 16k，否则识别结果全是乱码。readframes 的块大小不影响结果，只影响延迟；流式场景里可以调 1000 来降低响应粒度。Vosk 还支持 grammar 参数，例如rec = KaldiRecognizer(model, 16000, '["开灯", "关灯"]')，可以限制识别范围，命令词场景准确率会大幅提升。
3.3 端到端模型路径：Whisper 本地推理与参数选择
如果音频质量差、语速快，或者需要自动加标点，Whisper 是目前离线效果最稳的选择。先pip install openai-whisper，然后执行：
import whisper model = whisper.load_model("base") # 可选 tiny/base/small/medium/large result = model.transcribe( "meeting.wav", language="zh", fp16=False, # CPU上用False，GPU上可开True verbose=False, ) print(result["text"])参数说明：load_model 的模型大小影响精度和速度，base 中文够用，small 在会议场景更好，但 CPU 上转写一段 10 分钟音频可能需要十几分钟。transcribe 的 language 指定中文，fp16 在 CPU 上容易出 NaN，强制用 FP32 不会出错。verbose=False 避免输出逐段时间戳，让结果更干净。Whisper 的接口还支持initial_prompt，可以用来注入专业术语。
| 路径 | 最小依赖 | 数据是否出本机 | 采集音频 | 适合阶段 |
|---|---|---|---|---|
| SpeechRecognition+Google | pyaudio | 是 | 麦克风/文件 | 课程大作业原型 |
| Vosk | vosk+模型文件 | 否 | WAV 文件/麦克风 | 离线命令词、智能硬件 |
| Whisper | openai-whisper | 否 | 文件/流式 | 会议转写、内容分析 |
4. 语音识别项目实践：让识别率变好的五类参数调优
4.1 预处理：重采样、静音切除与增益归一
识别器的输入质量决定了识别率上限。第一件事是把所有音频统一到 16k 单声道。第二件事是切除首尾静音，避免 VAD 误判。第三件事是增益归一化，音量太小的句子直接会被静音吃掉。
import librosa import soundfile as sf import numpy as np y, sr = librosa.load("raw_audio.mp3", sr=16000, mono=True) # 1. 用能量阈值切掉前后静音 y = librosa.effects.trim(y, top_db=30)[0] # 2. 归一化到峰值 0.9 y = y / (np.max(np.abs(y)) + 1e-9) * 0.9 sf.write("prepared.wav", y, 16000)参数说明：top_db=30 表示以最大能量为基准，低于 30dB 的片段被当作静音切除。如果是背景噪声比较大的录音，top_db 可以调低到 20，宁可多切一点；如果语音之间有停顿，不要用这个函数，它会把整段中间的静音也删掉，破坏时间顺序。归一化不是必须的，但能解决录音音量忽大忽小导致的识别率波动。
4.2 端点检测：什么时候开始录音
麦克风场景下，端点检测是识别率的分水岭。SpeechRecognition 自带 listen 已经做过一次 VAD，但默认对噪声敏感。常见做法是先用能量或过零率实现一个简单 VAD，再送入识别器。
import numpy as np def simple_vad(y: np.ndarray, sr: int, threshold: float = 0.01, min_silence: float = 0.3): # 计算帧能量 frame_len = int(sr * 0.02) energy = np.array([ np.sqrt(np.mean(y[i:i+frame_len]**2)) for i in range(0, len(y), frame_len) ]) voiced = energy > threshold # 找到第一个和最后一个为True的位置 indices = np.where(voiced)[0] if len(indices) == 0: return None start = max(0, indices[0] * frame_len - int(sr * min_silence)) end = min(len(y), (indices[-1] + 1) * frame_len + int(sr * min_silence)) return y[start:end]逻辑说明：threshold 根据环境噪声放大，安静房间 0.01，嘈杂环境要调到 0.03~0.05。min_silence 在有效语音前后扩充 300ms，防止元音开头被截断。这个方法只做粗过滤，最终还是要看识别结果。如果有噪音干扰，可以配合高通滤波器先去掉低频轰鸣声。
4.3 识别器参数：language、grammar 与热词
Vosk 支持 grammar 限制识别词表，Whisper 不支持显式热词，但可以通过 initial_prompt 提供上下文。SpeechRecognition 的 Google 接口有 key 和 language 参数。
Vosk 热词示例：
rec = KaldiRecognizer(model, 16000, '["开启空调", "关闭空调", "温度调到二十五度"]')Whisper 的 initial_prompt 示例：
result = model.transcribe("meeting.wav", language="zh", initial_prompt="以下是一段关于人工智能项目实践的项目评审录音，涉及语音识别、python、模型选型。")参数说明：initial_prompt 的内容会被模型当成上下文，出现相关词汇时倾向选择 prompt 里的词。这个技巧对专业术语非常管用，比如把项目里的系统名、人名写进去，识别率有直观提升。Vosk 的 grammar 必须和真实语序匹配，否则会强制识别成列表里的组合，反而带来更多错字。
4.4 后处理：置信度过滤与标点恢复
Whisper 自带标点，但 SpeechRecognition 和 Vosk 给的纯文本没有标点。常见方案：用正则给句子断句，或者干脆不处理。更实际的是做置信度过滤：Vosk 的 Result 里带 conf 字段，低于阈值的结果丢弃。
import json result = json.loads(rec.Result()) if float(result.get("conf", 0.6)) > 0.6: print(result["text"]) else: print("置信度不足，丢弃")阈值选择：命令词场景 0.5 就够，会议转写最好 0.7，避免输出大量错误短句。如果你的业务下游要做意图识别，宁可漏识别也不要错识别，因为错词会直接污染后面 NLP 环节的输入。
4.5 常见误用的差别
很多人把识别率低归咎于模型，实际上是音频问题。表格里的几类现象基本覆盖了项目中出现最多的坑：
| 症状 | 常见原因 | 调法 |
|---|---|---|
| 中文识别成拼音 | 采样率不是 16k | 重采样 |
| 结果断断续续 | 端点检测把中间静音切了 | 关闭静音切除，改 VAD |
| 专业词汇错别字 | 缺少上下文 | initial_prompt/热词 |
| 识别结果为空 | 声音太小或麦克风静音 | 归一化、调整 threshold |
| 长时间录音卡死 | 一次性把整个 WAV 读入 | 分块读取 |
5. 语音识别项目的进阶实用技巧：批处理与流式识别
5.1 多文件批处理
课程项目和企业 POC 经常要处理目录下的几十个音频。把前面的识别逻辑封装成一个函数，然后用 glob 遍历目录，结果写入 CSV。
import glob import csv def transcribe_vosk(wav_path): # 这里省略模型加载，实际操作时应该把 model 对象放在外层复用 pass for wav_path in glob.glob("audio/*.wav"): text = transcribe_vosk(wav_path) with open("result.csv", "a", newline="", encoding="utf-8") as f: csv.writer(f).writerow([wav_path, text])建议使用concurrent.futures.ProcessPoolExecutor做多进程处理，因为 Vosk 在单进程里推理时 CPU 利用率不高。但要注意每个进程都会加载一份模型，内存开销成倍上升，机器只有 8G 内存的话进程数控制在 2~3 个。
5.2 流式识别
实时语音转写属于人工智能项目实践中加分项最高的功能。Vosk 可以按帧读取麦克风数据，实现边说边出字。
from vosk import Model, KaldiRecognizer import pyaudio model = Model("vosk-model-cn-0.15") rec = KaldiRecognizer(model, 16000) p = pyaudio.PyAudio() stream = p.open(format=pyaudio.paInt16, channels=1, rate=16000, input=True, frames_per_buffer=4000) while True: data = stream.read(4000, exception_on_overflow=False) if rec.AcceptWaveform(data): print(rec.Result()) # rec.PartialResult() 可以拿到临时结果，用于 UI 展示这里的核心是frames_per_buffer=4000，每 250ms 处理一块数据，流式延迟基本在 0.3 秒内。如果要退出循环，可以检测键盘事件或者设一个最大录音时长。注意麦克风必须支持 16kHz 采样率，部分 USB 声卡只支持 44.1k，需要先用音频接口转换。
5.3 验证识别效果的量化方法
调参不能靠听感，要跑测试集算字错误率。准备 10~20 条带人工转写的音频，把识别结果和参考文本做编辑距离。
import numpy as np def wer(reference: str, hypothesis: str) -> float: ref = list(reference) hyp = list(hypothesis) d = np.zeros((len(ref)+1, len(hyp)+1)) for i in range(len(ref)+1): d[i][0] = i for j in range(len(hyp)+1): d[0][j] = j for i in range(1, len(ref)+1): for j in range(1, len(hyp)+1): cost = 0 if ref[i-1] == hyp[j-1] else 1 d[i][j] = min(d[i-1][j]+1, d[i][j-1]+1, d[i-1][j-1]+cost) return d[len(ref)][len(hyp)] / len(ref)wer返回的是错字比例，0.1 表示每 100 个字里有 10 个错。每次调整预处理参数或模型后，用同一组测试集重新算一遍，才能知道改动是正向还是反向。把这个函数和批处理脚本配合，几分钟就能完成一轮评估。
本文还有配套的精品资源，点击获取
