Open-Sora Plan数据过滤策略：如何为视频扩散模型筛选高质量训练数据-平芜编程栈

【免费下载链接】Open-Sora-Plan-v1.3.0

项目地址：https://ai.gitcode.com/hf_mirrors/LanguageBind/Open-Sora-Plan-v1.3.0

Open-Sora Plan v1.3.0 正式引入了数据过滤策略（data filtering strategy），为视频扩散模型筛选出高质量训练数据：通过"基础属性过滤 + WFVAE 重建质量过滤 + bucket 分桶训练"三关流水线，让小团队也能稳定训出接近业界水准的文生视频与图生视频模型。本文带你拆解这套策略背后的思路，并说明如何在本仓库中验证它的成果。

为什么视频扩散模型特别需要数据过滤 🎬

视频训练数据的获取、标注与存储成本远高于图像，而网络爬取的原始视频普遍存在以下"杂质"：

画质问题：低分辨率、模糊、压缩噪点、水印与字幕；
运动问题：快速甩镜、剧烈遮挡，导致帧间一致性差；
格式问题：分辨率、时长、帧率五花八门，直接训练需要大量 padding，浪费算力。

对于扩散模型来说，"垃圾进，垃圾出"（garbage in, garbage out）：低质量片段不仅学不到有效特征，还会把水印、伪影等瑕疵"刻"进生成结果中。因此，数据过滤策略是 Open-Sora Plan v1.3.0 最重要的工程改进之一。项目主页 README.md 中明确列出，v1.3.0 同时带来了 WFVAE、prompt refiner、数据过滤策略、稀疏注意力（sparse attention）与 bucket 训练策略五大特性。

Open-Sora Plan 数据过滤策略的三关拆解 🧹

第一关：基础属性过滤——先做粗筛

在进入昂贵的模型过滤之前，先用最便宜的规则筛掉"明显不合格"的样本：

分辨率：剔除宽、高低于阈值的片段；
时长：过短的片段信息量不足，过长的片段超出训练窗口；
时间维约束：由于 v1.3.0 的 WFVAE 时间压缩倍率为 4，训练帧数需满足4n+1的形式（如 93、77、61、45、29 帧，甚至 1 帧图像），不满足的片段会被抽帧或丢弃。

这一关的目标是：用最低成本去掉 80% 的无效数据。

第二关：WFVAE 重建过滤——把 VAE 当"质量守门员"

这是 v1.3.0 数据过滤策略中最有创意的一步：

用预训练的 WFVAE（Wavelet-based Flow VAE）对每个视频片段做一次编码 + 解码重建；
计算原始片段与重建片段的差异，得到重建误差；
重建误差超过阈值的片段直接丢弃。

背后的直觉很朴素：VAE 只能"记住"它见过的、结构清晰的分布。模糊、强噪点、复杂快速运动、水印区域正是 VAE 最难重建的部分——重建得差，往往就意味着这个片段对生成模型的价值也低。相当于用一个现成的模型，免费完成了一次大规模的"质量打分"。

本仓库中的 VAE 权重位于 vae/config.json，其模型类为WFVAEModel，latent_dim为 8，即把视频压缩到 8 通道 latent（时空压缩比可达 4×8×8，即 256 倍），这也是重建过滤所选用的编码器。

第三关：bucket 分桶训练——让过滤后的数据"各归各位" 📦

过滤后的片段仍然大小不一，直接组 batch 会导致大量 padding。Open-Sora Plan 采用bucket 训练策略：

按「宽高比 × 分辨率 × 时长」把片段分进一个个 bucket；
每个训练 batch 只从同一个 bucket 内采样，张量形状完全一致，零 padding；
不同 bucket 按一定概率调度，兼顾多样性与吞吐。

分桶训练也为"任意尺寸"推理打下了基础。从 any93x640x640/config.json 可以看到，T2V 模型的sample_size_h/sample_size_w被定义为区间[44, 80]（latent 尺度），配合patch_size: 2的 3D patch 化，推理时即可支持任意 32 倍数的分辨率，而 93 帧 × 480p 甚至可以在 24G 显存的显卡上跑通。

配套手段：Prompt Refiner 让"文本侧"也高质量 ✍️

数据过滤不只管视频，caption 同样关键。v1.3.0 引入了prompt refiner：用一个轻量语言模型把网络抓取中常见的短小、粗糙的标题描述（如"猫"）重写成结构完整、细节丰富的自然语言，从而让文生视频模型的文本对齐能力显著提升。

该模型的完整权重与分词器就在本仓库的prompt_refiner/目录下，配置见 prompt_refiner/config.json（4 分片 safetensors，含tokenizer.json）。推理时它与文本编码器、WFVAE 一起加载，对输入 prompt 做一次"润色"再交给扩散模型。

在权重仓库中验证：四个目录对应"四件套" 🔍

本仓库完整存放了受益于这套过滤策略的 v1.3.0 全部组件，新手可以按表定位：

目录	角色	说明
any93x640x640/	文生视频（T2V）3D 扩散模型	93 帧、任意 32 倍数分辨率；32 层、24 头 × 96 维注意力，开启`sparse1d`稀疏注意力（`sparse_n: 4`）
any93x640x640_i2v/	图生视频（I2V）模型	在 T2V 基础上新增`vae_scale_factor_t: 4`，用于首帧条件注入与转场生成
vae/	WFVAE	256 倍时空压缩，是重建质量过滤的"守门员"
prompt_refiner/	Prompt Refiner	训练/推理前重写、增强描述文本

其中 T2V 模型权重分两个分片存放，可参考 any93x640x640/diffusion_pytorch_model.safetensors.index.json 查看各权重张量的分布。值得注意的是，模型配置中decay: 0.9999的 EMA 参数与 2500 步optimization_step，也侧面印证了训练后期经历了高质量数据的精细微调——这正是过滤策略价值的最终体现。

给新手的落地建议 🚀

如果你也想为自己的视频扩散模型建立数据过滤流程，可以按 Open-Sora Plan 的思路分三步走：

先粗筛：用脚本按分辨率、时长、帧数对齐（如4n+1）过滤，成本几乎为零；
再精筛：用一个预训练 VAE 做"编码-解码-比对"，对重建误差分布做直方图观察，取分位数（而非拍脑袋的固定值）作为阈值，先抽样人工检查再定夺；
最后分桶：按「宽高比 × 分辨率 × 时长」建 bucket，同桶采样，省下的 padding 算力可以用来多加数据。

💡 小提醒：过滤阈值不要一步到位设得最严，建议保留 10%~20% 的"边缘样本"单独训练验证，避免过度过滤导致多样性受损。

总结 📝

Open-Sora Plan v1.3.0 的数据过滤策略证明了一个朴素的道理：视频生成模型的竞争力，一半在架构，一半在数据。通过"基础属性过滤 → WFVAE 重建过滤 → bucket 分桶训练"的三关流水线，再辅以 Prompt Refiner 对文本侧的质量提升，项目团队在有限算力下训出了支持 93 帧、任意分辨率、24G 显存可推理的开源模型。本仓库的四个目录（any93x640x640/、any93x640x640_i2v/、vae/、prompt_refiner/）完整保留了这套流程的产出，是研究视频扩散模型数据工程的绝佳样本。