HeliosBench实战指南：视频生成模型评估的10项指标与时序漂移检测方法
【免费下载链接】HeliosHelios: Real Real-Time Long Video Generation Model项目地址: https://gitcode.com/gh_mirrors/helios33/Helios
什么是 HeliosBench？
HeliosBench是 Helios 项目（14B 参数、支持实时长视频生成的扩散模型）配套开源的视频生成模型评估基准。它从 5 个基础质量维度 + 4 个时序漂移维度 + 1 个吞吐量维度，系统量化一个视频生成模型"生成得好不好、稳不稳"。
对于新手来说，最直接的用法是：把你模型的输出视频丢进eval/目录，一键跑完全部指标，得到一个 1~10 分的综合评分。下面用 wave.jpg 这类自然素材生成视频打比方——评估系统会检查画面是否美观、运动是否流畅、内容是否与提示词一致，以及视频开头和结尾是否出现了"漂移"（内容崩坏、风格突变）。
一、快速搭建评估环境
评估流程全部位于 eval/ 目录，文档见 eval/README.md。
第 1 步：安装依赖
conda activate helios pip install -r requirements.txt依赖清单见 eval/requirements.txt。
第 2 步：下载评估模型权重
cd eval/checkpoints && bash get_checkpoints.sh该脚本（eval/checkpoints/get_checkpoints.sh）会拉取 HeliosBench 官方权重，目录结构如下：
📦 checkpoints/ ├── 📂 aesthetic_model/ # CLIP ViT-L-14 + 美学线性预测头 │ ├── 📄 sa_0_4_vit_l_14_linear.pth │ └── 📄 ViT-L-14.pt └── 📂 ViCLIP/ # 语义一致性模型 ├── 📄 bpe_simple_vocab_16e6.txt.gz └── 📄 ViClip-InternVid-10M-FLT.pth另外还需要 AMT-S 光流平滑度模型（checkpoints/amt_model/amt-s.pth），其网络实现参考自 eval/utils/third_party/amt/。
二、准备你的视频数据
评估采用提示词 CSV + 视频目录的组织方式。仓库内置了一套玩具数据可直接上手：
- 提示词表：eval/playground/helios_t2v_prompts.csv，含
id / prompt / duration三列，覆盖 240~1440 帧的长视频任务 - 示例视频：eval/playground/toy-video/，文件命名规则为
{id}_{目标时长}_{真实时长}.mp4
你自己评估时，只需在eval/playground/下为每个模型建一个子目录，例如：
📦 playground/ ├── helios_t2v_prompts.csv ├── model-a/ # 模型A生成的视频 │ └── 1_*_ori*.mp4 ... └── model-b/ # 模型B生成的视频 └── ...视频命名中的数字前缀（1_、2_…）必须与 CSV 的id对应。如需测试短视频场景，可用 eval/utils/extract_short_from_long.py 从长视频中截取前 81 帧。
三、10 项指标全解析
1. 五项基础指标（衡量整体质量）
| 指标 | 衡量内容 | 技术方案 | 源码 |
|---|---|---|---|
| 美学质量 Aesthetic | 画面美观度 | CLIP + LAION 美学预测器 | 0_get_aesthetic.py |
| 运动幅度 Motion Amplitude | 画面动态程度 | Farneback 光流 | 1_get_motion_amplitude.py |
| 运动平滑度 Motion Smoothness | 帧间运动是否连贯 | AMT 光流网络 | 2_get_motion_smoothness.py |
| 语义一致性 Semantic | 内容是否符合提示词 | ViCLIP | 3_get_semantic.py |
| 自然度 Naturalness | 是否像真实拍摄 | GPT-5.2 多模态评分（1~5 分） | 4_get_naturalness.py |
其中自然度指标最有意思：它从长视频中均匀抽取 16 帧，让多模态大模型按"单帧技术瑕疵、局部物理逻辑、生物结构异常、瞬态伪影"4 条标准判断"这是真视频还是 AI 视频"（提示词模板见 4_get_naturalness.py）。
2. 四项时序漂移指标（长视频专属）
长视频最大的坑是"开头很好、结尾崩盘"。HeliosBench 用首尾对比来捕捉它：取视频前 15% 帧与后 15% 帧，分别计算同一指标，再取绝对差：
ΔM_drift(V) = | M(V_start) − M(V_end) |
实现见 5_get_drifting_aesthetic.py（DRIFT_RATIO = 0.15）。四项漂移指标：
| 漂移指标 | 含义 | 源码 |
|---|---|---|
| Drifting Aesthetic | 画质/风格随时间退化 | 5_get_drifting_aesthetic.py |
| Drifting Motion Smoothness | 运动流畅度随时间下降 | 6_get_drifting_motion_smoothness.py |
| Drifting Semantic | 主题内容随时间漂移 | 7_get_drifting_semantic.py |
| Drifting Naturalness | "真实感"随时间流失 | 8_get_drifting_naturalness.py |
注意：漂移分数越小越好，基础指标则是越大越好。
3. 吞吐量指标（可选）
在 384×640 分辨率下测量端到端 FPS（含 VAE 与文本编码器延迟），每 3.2 FPS 记 1 分，封顶 10 分。评测时需开启 FlashAttention、torch compile、KV-cache 等官方加速手段。
四、一键运行评估
单卡：
cd eval bash run_metrics.sh多卡/多机：
cd eval bash run_metrics_ddp.shrun_metrics.sh 会自动扫描playground/下所有模型目录并行跑全部指标；多机版 run_metrics_ddp.sh 会检测机器数与 GPU 数，按ARNOLD_WORKER_NUM / ARNOLD_WORKER_GPU环境变量调度。脚本顶部的API_KEY / BASE_URL用于 Naturalness 指标的大模型 API 调用。
跑完后执行合并：
python 9_merge_all_scores.py --input_dir playground/results/<模型名> --is_long python 10_merge_all_results.py --input_dir playground/results --score_type rating各指标原始结果以 JSON 形式保存在playground/results/<模型名>/（如 aesthetic_results.json），支持断点续跑——已完成的视频会被自动跳过。
五、看懂结果：从分数到综合评分
评分换算逻辑
9_merge_all_scores.py 把原始分数映射为 1~10 分制：按阈值表逐项打分，例如美学分 ≥0.70 记 10 分，每低于 0.05 一档扣 1 分；漂移分 ≤0.01 记 10 分，逐档上浮扣 1 分。
长视频加权总分
长视频（--is_long）的 10 项权重如下（9_merge_all_scores.py）：
| 指标 | 权重 | 指标 | 权重 |
|---|---|---|---|
| 美学 / 运动幅度 / 运动平滑度 | 各 0.03 | 4 项漂移指标 | 各 0.099 |
| 语义一致性 | 0.255 | 自然度 | 0.255 |
可以看到，语义一致性和自然度合计占 51%，4 项漂移指标合计占 39.6%——这正是 HeliosBench 对"长视频"的定义：内容不跑偏、结尾不崩盘，比单帧画质更重要。短视频模式则只用 5 项基础指标。
玩具数据实测样例
仓库自带的 toy-video 结果（merged_results.json）长这样：
"models": { "toy-video": { "aesthetic": 9, "motion_amplitude": 3, "motion_smoothness": 10, "naturalness": 7, "semantic": 8, "drifting_aesthetic": 8, "drifting_motion_smoothness": 10, "drifting_naturalness": 10, "drifting_semantic": 10, "total_weighted_rating": 8.247 } }解读要点：该样例运动幅度仅 3 分（画面偏静态），但四项漂移全部高分，说明长时稳定性优秀，最终综合分 8.247。
六、常见问题速查
| 问题 | 解决方式 |
|---|---|
| 视频未被识别 | 检查命名是否为{id}_*_ori*.mp4，且id与 CSV 一致 |
| Naturalness 无结果 | run_metrics.sh中填入API_KEY / BASE_URL |
| 结果与论文对不上 | 确认权重目录结构完整，且使用了--is_long |
| 想对比多模型 | 把多个模型目录都放进playground/，10_merge_all_results.py会输出横向对比的all_models_merged.json（参考 eval/playground/results/all_models_merged.json） |
💡 小贴士：HeliosBench 的设计哲学是——现有指标不足以准确评估视频生成模型，未来方向是发展更贴近人类感知的指标。如果你有自研模型，直接复用这套目录规范即可与 Helios 系列站在同一标尺下对比。
总结
- 📦环境：
pip install -r requirements.txt+ 官方权重脚本，两分钟就位 - 📊10 项指标：5 项基础质量 + 4 项首尾漂移 + 1 项吞吐量
- 🚀一键运行：
bash run_metrics.sh自动扫描、并行、断点续跑 - 🏆结果解读：关注
total_weighted_rating，漂移分越小模型越"稳"
按 eval/README.md 的完整文档，你现在就可以把第一个模型送进 HeliosBench 了。
【免费下载链接】HeliosHelios: Real Real-Time Long Video Generation Model项目地址: https://gitcode.com/gh_mirrors/helios33/Helios
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
