VBench

最后更新: 2026年10月7日

本页内容

VBench（南洋理工 S-Lab 与上海人工智能实验室）把文生视频质量拆成 16 个维度，每维由专用感知模型打分，而不是单一 embedding 距离。三组：

时序 — 主体 / 背景一致性、闪烁、运动平滑、动态程度。
帧质量 — 美学质量、成像质量。
语义 / 文本对齐 — 物体类别、多物体、人体动作、颜色、空间关系、场景、外观风格、时序风格、整体一致性。

官方总分是 4× 质量 + 1× 语义（overall_quality）。WorldFoundry 还会写出 temporal_quality、frame_quality、text_alignment 聚合。

论文：VBench。项目：vchitect.github.io/VBench-project。代码：Vchitect/VBench（Apache-2.0）。仓内 prompt 套件：worldfoundry/data/benchmarks/assets/vbench/VBench_full_info.json（946 行）。VBench-2.0 是后续忠实性套件；两者不可互换。

WorldFoundry 内置官方 runtime。两种模式：custom_input（任意视频目录；依赖文本的维度需要 --prompt / --prompt-file）和 vbench_standard（官方命名 "{prompt}-{index}.mp4"，每条 prompt 5 个样本，index 为 0..4）。有界 GPU 验证只覆盖 aesthetic_quality。

评测维度

时间质量
类型轴
主体/背景一致性、闪烁、运动平滑与动态程度。
帧质量
类型轴
美学质量与成像质量。
语义 / 文本对齐
类型轴
物体类别、多物体、人体动作、颜色、空间关系、场景、外观/时间风格与整体一致性。

数据组成

规模
官方 VBench_full_info.json：16 个维度共 946 条 prompt 行。vbench_standard 要求每条 prompt 5 个样本，命名为 {prompt}-{index}.mp4。
来源
github.com
模态
text · video
许可证
apache-2.0
说明
WorldFoundry 内置官方 runtime。有界 GPU 验证只覆盖 aesthetic_quality。不需要公开 Hugging Face 数据集。

指标

overall_quality
方向越高越好
官方式 VBench 最终聚合分：4×质量分 + 1×语义分。
主指标Overall Quality
temporal_quality
方向越高越好
WorldFoundry 对 VBench 时序与一致性维度的聚合。
frame_quality
方向越高越好
WorldFoundry 对 VBench 美学与成像质量维度的聚合。
text_alignment
方向越高越好
VBench prompt 对齐维度的官方式语义聚合分。
subject_consistency
方向越高越好
主体是否在各帧保持一致。
background_consistency
方向越高越好
背景是否在各帧保持稳定。
temporal_flickering
方向越高越好
闪烁 / 高频时序不稳定。
motion_smoothness
方向越高越好
运动是否平滑而非抖动。
dynamic_degree
方向越高越好
片段里真实运动有多少。
aesthetic_quality
方向越高越好
逐帧美学分。仓内已验证的有界官方分量。
imaging_quality
方向越高越好
逐帧成像 / 失真质量。
object_class
方向越高越好
请求的物体类别是否出现。
multiple_objects
方向越高越好
多个请求物体是否同时出现。
human_action
方向越高越好
请求的人体动作是否实现。
color
方向越高越好
请求的颜色是否绑到正确物体。
spatial_relationship
方向越高越好
请求的空间关系是否成立。
scene
方向越高越好
是否画出请求的场景类型。
appearance_style
方向越高越好
外观风格与 prompt 是否对齐。
temporal_style
方向越高越好
时序 / 运动风格与 prompt 是否对齐。
overall_consistency
方向越高越好
视频与 prompt 的整体一致性。

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 Hugging Face Space（Vchitect）.

huggingface.co · 实时打开实时榜

如何运行

目录记录的有界命令：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/vbench/run_vbench_official_runner.py run \
  --mode custom_input \
  --dimension aesthetic_quality

对自定义目录打一个维度：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/vbench/run_vbench_official_runner.py run \
  --mode custom_input \
  --dimension subject_consistency \
  --videos-path "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/vbench/custom \
  --json

导入上游 full_json 目录，而不是重跑 evaluator：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/vbench/run_vbench_official_runner.py run \
  --from-upstream-results /path/to/vbench_full_json_dir \
  --output-dir tmp/vbench/imported \
  --json

--load-ckpt-from-local 强制走本地权重。环境变量：WORLDFOUNDRY_VBENCH_ROOT、WORLDFOUNDRY_GENERATED_ARTIFACT_DIR、WORLDFOUNDRY_VBENCH_CACHE_DIR。共享栈：vbench_perception_metric_stack。

仓内指针：

worldfoundry/data/benchmarks/tasks/external/vbench.yaml
worldfoundry/evaluation/tasks/execution/runners/vbench/runtime
worldfoundry/data/benchmarks/assets/vbench/VBench_full_info.json

产物包括 scorecard.json（主键 overall_quality）、raw_metric_table.jsonl，以及捕获的上游日志。

← 返回 Benchmark Hub

VBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面