---
title: Video-Bench
description: "CVPR 2025 对齐人类偏好的 MLLM 视频评测：GPT-4o 按 1-5 / 1-3 量表打分。WorldFoundry 内置 runtime，不编造榜单。"
---

Video-Bench（上海交大，联合 NUS、CMU、斯坦福等；CVPR 2025）用 **对齐人类偏好的 MLLM 裁判** 给生成视频打分。两个分面（官方量表，WorldFoundry 再映射到 0–1）：

- **视频质量（1–5）** — 成像、美学、时间一致性、运动效果。
- **视频-条件对齐** — 整体视频-文本一致性（1–5）；物体类别、颜色、动作、场景（1–3）。

少样本打分与 chain-of-query 给 GPT-4o 结构化。发布含人类标注数据集供校准。许可证：Apache-2.0。

论文：[Video-Bench](https://arxiv.org/abs/2504.04907)。代码：[Video-Bench/Video-Bench](https://github.com/Video-Bench/Video-Bench)。标注：[`Video-Bench/Video-Bench_human_annotation`](https://huggingface.co/datasets/Video-Bench/Video-Bench_human_annotation)。官方视频需申请（`Video-Bench_videos`）。

WorldFoundry **仓内内置 runtime** 并封装 `evaluate.py`。它从环境变量写临时私有配置，不改上游 `config.json`；缺少 `VideoBench_full.json` 时从人类标注 JSON 重建 prompt 元数据。凭证门控路径存在；不声称已做带凭证的发布运行。

<BenchmarkPageSections id="video-bench" locale="zh" />

## 如何运行

```bash
hf download Video-Bench/Video-Bench_human_annotation --repo-type dataset \
  --local-dir cache/worldfoundry/data/hfd_datasets/Video-Bench/Video-Bench_human_annotation

worldfoundry-eval zoo benchmark-run \
  --benchmark-id video-bench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/video-bench/official-validation \
  --json
```

运行时裁判需要 `WORLDFOUNDRY_VIDEOBENCH_GPT4O_API_KEY`（或 `OPENAI_API_KEY`）、标注根与生成视频。`--dimension` / `--mode` 限制协议。环境变量：`WORLDFOUNDRY_VIDEOBENCH_RESULTS_PATH`、`WORLDFOUNDRY_VIDEOBENCH_ANNOTATION_ROOT`、`WORLDFOUNDRY_VIDEOBENCH_MODEL_OUTPUT_DIR`。共享资源：`video_bench_dataset_assets`。

仓内指针：`worldfoundry/data/benchmarks/tasks/external/video-bench.yaml`，`worldfoundry/evaluation/tasks/execution/runners/videobench/runtime`。

产物包括 `scorecard.json`（主键 `videobench_average`，榜单键 `overall_average`）。

[← 返回 Benchmark Hub](/zh/docs/evaluation/benchmark-hub)