SadTalker语音驱动人脸动画零基础实战：5分钟跑通第一个结果的完整避坑指南-平芜编程栈

SadTalker语音驱动人脸动画零基础实战：5分钟跑通第一个结果的完整避坑指南

【免费下载链接】SadTalker[CVPR 2023] SadTalker：Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker

一张静态肖像照片，加一段你读诗的录音，能不能得到一个"开口念诗"的视频？能。SadTalker（CVPR 2023 开源的语音驱动人脸动画工具）就干这件事：单张图片 + 一段音频，输出一个说话的人脸视频。全文只走一条路：拉代码、装依赖、下模型、跑推理，共 4 条命令。

🎯 原理一图流：一张图和一段录音如何变成说话视频

SadTalker 的数据流非常直白：

驱动音频 → 音频特征 → 表情系数（嘴怎么张、脸怎么动）+ 姿态系数（头往哪偏、歪多少）源图片 → 关键点检测 → 3D 人脸建模 → 渲染合成 → 说话人头视频

上图左半是输入素材、右半是生成结果，中间的差异全部由音频驱动。一句话提醒：模型只对真人照片（或接近真人的写实肖像）有效，二次元插画不在支持范围内。

🚀 主路径：5分钟跑通第一个说话视频

第 1 步：拉取项目代码。

git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker

第 2 步：建一个独立的 Python 3.8 环境。环境隔离是为了不让依赖互相打架，这个项目按 3.8 构建，先对齐版本最稳。

conda create -n sadtalker python=3.8 conda activate sadtalker

第 3 步：装 PyTorch 和 FFmpeg。这里做两件事：装深度学习框架、装视频处理工具。PyTorch 版本务必与官方一致，CUDA 版本对不上后面容易出怪参数；FFmpeg 是所有视频读写的必经之路，缺了它一步都跑不了。

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113 conda install ffmpeg pip install -r requirements.txt

第 4 步：一键下载全部预训练模型。这一步只做一件事：把 scripts/download_models.sh 里的所有权重拉到本地，包括音频到表情模型、音频到姿态模型、映射网络、256 与 512 两档渲染器，以及 GFPGAN 面部增强权重，之后推理不再联网。

bash scripts/download_models.sh

第 5 步：生成第一个视频。下面是 inference.py 的最小可用命令：音频驱动、全身图输入、保持原姿态、整图动画、面部增强。

python inference.py --driven_audio examples/driven_audio/chinese_news.wav \ --source_image examples/source_image/full_body_1.png \ --result_dir results \ --still --preprocess full --enhancer gfpgan

--still让全身图的人头保持原有姿态不乱晃；--preprocess full动画化人脸区域后贴回整张原图；--enhancer gfpgan把脸磨得更清晰——它需要额外执行一次pip install gfpgan，嫌慢就先去掉该参数跑通再说。结果视频保存在results/时间戳/*.mp4。卡住了？直接往下翻翻车急救站。

💡 体检三问：三条命令确认环境就绪

依次敲下三条命令，三条都亮绿灯才叫就绪：

python -c "import torch; print(torch.__version__)" # 预期看到 1.12.1+cu113 ffmpeg -version # 预期看到 ffmpeg version ls checkpoints # 预期看到 SadTalker_V0.0.2_256.safetensors 等文件

⚠️ 翻车急救站：四个最高频报错

症状：'ffmpeg' is not recognized as an internal or external command原因：系统里没有 FFmpeg，或没加入 PATH。修复：conda install ffmpeg（macOS 可brew install ffmpeg）。

症状：FileNotFoundError: ... checkpoints/...（推理启动即崩）原因：模型文件没下载，或没放进./checkpoints/目录。修复：bash scripts/download_models.sh。

症状：RuntimeError: CUDA out of memory原因：显存吃紧，渲染批次默认偏大。修复：推理命令后加--batch_size 1重跑。

症状：dlib 报 Illegal hardware instruction（Mac M1 高发）原因：dlib 是旧版二进制，不兼容 M 系列芯片。修复：pip install dlib单独重装一次。

更多问题可翻官方 docs/FAQ.md。

眼见为实：换三类素材，效果各不同

同样是"一张图 + 一段音频"，输入素材的风格直接决定成片质感，仓库的examples/目录里备好了各种素材供你试验：

数字艺术风肖像：人脸占满画面、五官边界清晰，表情迁移时嘴周和下巴边缘更干净。

写实人像：唇形与口型同步最自然，因为模型就是按这类素材训练的，效果最接近真实口播。

进阶解锁：借一段参考视频，头部动作更自然

--ref_pose（参考姿态视频）让输出视频的头部运动直接"借用"参考视频里的动作，比纯音频驱动的姿态更稳更自然。一条完整命令：

python inference.py --driven_audio examples/driven_audio/chinese_poem1.wav \ --source_image examples/source_image/art_0.png \ --ref_pose examples/ref_video/WDA_AlexandriaOcasioCortez_000.mp4 \ --result_dir results_with_ref

参考视频比音频短时会自动循环播放，不用担心长度对不上。