Video-Bench
Video-Bench（上海交大，联合 NUS、CMU、斯坦福等；CVPR 2025）用 对齐人类偏好的 MLLM 裁判 给生成视频打分。两个分面（官方量表，WorldFoundry 再映射到 0–1）：
- 视频质量（1–5） — 成像、美学、时间一致性、运动效果。
- 视频-条件对齐 — 整体视频-文本一致性（1–5）；物体类别、颜色、动作、场景（1–3）。
少样本打分与 chain-of-query 给 GPT-4o 结构化。发布含人类标注数据集供校准。许可证：Apache-2.0。
论文：Video-Bench。代码：Video-Bench/Video-Bench。标注：Video-Bench/Video-Bench_human_annotation。官方视频需申请（Video-Bench_videos）。
WorldFoundry 仓内内置 runtime 并封装 evaluate.py。它从环境变量写临时私有配置，不改上游 config.json；缺少 VideoBench_full.json 时从人类标注 JSON 重建 prompt 元数据。凭证门控路径存在；不声称已做带凭证的发布运行。
评测维度
- 视频质量（1–5）类型轴
成像、美学、时间一致性、运动效果。
- 视频-条件对齐类型轴
整体视频-文本（1–5）；物体类别、颜色、动作、场景（1–3）。
数据组成
- 规模
CVPR 2025 对齐人类偏好的 MLLM 视频评测。GPT-4o 少样本 / chain-of-query 裁判。人类标注已发布；官方视频需申请。Apache-2.0。
- 来源
Video-Bench/Video-Bench_human_annotation · Video-Bench/Video-Bench_videos · github.com
- 许可证
Apache-2.0
- 说明
WorldFoundry 内置 runtime 并封装 evaluate.py。凭证门控路径存在；不声称已做带凭证的发布运行。
指标
指标
- 方向越高越好
imaging_qualityVideo-Bench 静态画质得分（官方 1-5 分制）。
- 方向越高越好
aesthetic_qualityVideo-Bench 美学质量得分（官方 1-5 分制）。
- 方向越高越好
temporal_consistencyVideo-Bench 时序一致性得分（官方 1-5 分制）。
- 方向越高越好
motion_effectsVideo-Bench 运动效果得分（官方 1-5 分制）。
- 方向越高越好
video_text_consistencyVideo-Bench 整体视频-文本一致性得分（官方 1-5 分制）。
- 方向越高越好
object_class_consistencyVideo-Bench 物体类别一致性得分（官方 1-3 分制）。
- 方向越高越好
color_consistencyVideo-Bench 颜色一致性得分（官方 1-3 分制）。
- 方向越高越好
action_consistencyVideo-Bench 动作一致性得分（官方 1-3 分制）。
- 方向越高越好
scene_consistencyVideo-Bench 场景一致性得分（官方 1-3 分制）。
- 方向越高越好
videobench_average可用 Video-Bench 维度的归一化均分。
主指标Video-Bench Average
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文视频质量表的成像质量列。 Video-Bench: Human-Aligned Video Generation Benchmark (2025).
| 模型 | 成像质量 |
|---|---|
| Gen3 | 4.66 |
| Kling | 4.26 |
| VideoCrafter2 | 4.08 |
| CogVideoX | 3.87 |
| Pika-Beta | 3.78 |
| Show-1 | 3.30 |
| LaVie | 3.00 |
如何运行
hf download Video-Bench/Video-Bench_human_annotation --repo-type dataset \
--local-dir cache/worldfoundry/data/hfd_datasets/Video-Bench/Video-Bench_human_annotation
worldfoundry-eval zoo benchmark-run \
--benchmark-id video-bench \
--mode official-validation \
--official-results-path <official_results.json> \
--generated-artifact-dir <generated_videos> \
--output-dir tmp/video-bench/official-validation \
--json运行时裁判需要 WORLDFOUNDRY_VIDEOBENCH_GPT4O_API_KEY（或 OPENAI_API_KEY）、标注根与生成视频。--dimension / --mode 限制协议。环境变量：WORLDFOUNDRY_VIDEOBENCH_RESULTS_PATH、WORLDFOUNDRY_VIDEOBENCH_ANNOTATION_ROOT、WORLDFOUNDRY_VIDEOBENCH_MODEL_OUTPUT_DIR。共享资源：video_bench_dataset_assets。
仓内指针：worldfoundry/data/benchmarks/tasks/external/video-bench.yaml，worldfoundry/evaluation/tasks/execution/runners/videobench/runtime。
产物包括 scorecard.json（主键 videobench_average，榜单键 overall_average）。