VBench-2.0

最后更新: 2026年10月7日

本页内容

VBench-2.0（S-Lab、南洋理工与上海人工智能实验室）是 VBench 的 内在忠实度 后继。它与 16 维质量套件 不可互换。18 项细粒度能力 归入五柱，再平均成 vbench2_total：

创造性 — 构图、多样性。
常识 — 实例保持、运动合理性。
可控性 — 相机、景观、情节、动态、交互、运动顺序。
人体保真 — 解剖、服饰、身份。
物理 — 材料、力学、多视角一致性、热学。

论文：VBench-2.0。项目：vchitect.github.io/VBench-2.0-project。代码：Vchitect/VBench。快照：Vchitect/VBench-2.0_sampled_videos、_human_annotation、_human_anomaly。

WorldFoundry 仓内内置 VBench-2.0 runtime。调度评测器前会检查 prompt 套件覆盖（vbench2_dataset_manifest.json、vbench2_video_coverage.json）。有界 diversity 组件已验证；全套未验证。部分维度需要 RetinaFace 或其他重量级裁判。

评测维度

创造性
类型类别
构图与多样性。
常识
类型类别
实例保持与运动合理性。
可控性
类型类别
相机、景观、情节、动态、交互、运动顺序。
人体保真
类型类别
解剖、服饰、身份。
物理
类型类别
材料、力学、多视角一致性、热学。

数据组成

规模
五柱 18 项细粒度能力（创造性、常识、可控性、人体保真、物理）。与 VBench 的 16 维质量套件不可互换。HF 快照：Vchitect/VBench-2.0_*。
来源
Vchitect/VBench-2.0_sampled_videos · Vchitect/VBench-2.0_human_annotation · Vchitect/VBench-2.0_human_anomaly · github.com
模态
text · generated-video
许可证
unknown_pending_review
说明
WorldFoundry 内置 VBench-2.0 runtime 并写出覆盖清单。有界 diversity 组件已验证；全套未验证。

指标

vbench2_creativity
方向越高越好
官方 VBench-2.0 创造力组：由构图与多样性维度聚合。
vbench2_commonsense
方向越高越好
官方 VBench-2.0 常识组：由实例保持与运动合理性聚合。
vbench2_controllability
方向越高越好
官方 VBench-2.0 可控性组：由相机、景观、情节、动态、交互与运动顺序维度聚合。
vbench2_human_fidelity
方向越高越好
官方 VBench-2.0 人体保真组：由人体结构、服饰与身份维度聚合。
vbench2_physics
方向越高越好
官方 VBench-2.0 物理组：由材料、力学、多视角一致性与热学维度聚合。
vbench2_total
方向越高越好
VBench-2.0 创造力、常识、可控性、人体保真与物理五组分的均值。
主指标VBench-2.0 Total

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 Hugging Face Space（Vchitect，VBench-2.0 页）.

huggingface.co · 实时打开实时榜

如何运行

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/vbench_2_0/run_vbench_2_0_official_runner.py \
  --benchmark-id vbench-2.0 \
  --variant vbench2 \
  --dimension Motion_Order_Understanding \
  --videos-path "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --vbench2-dataset-root "${WORLDFOUNDRY_VBENCH2_DATASET_ROOT}" \
  --output-dir tmp/vbench-2.0/dimension \
  --json

环境变量：WORLDFOUNDRY_VBENCH2_DATASET_ROOT、WORLDFOUNDRY_VBENCH2_RESULTS_PATH、WORLDFOUNDRY_VBENCH2_ROOT、WORLDFOUNDRY_HF_CACHE_DIR。共享栈：vbench_perception_metric_stack。

仓内指针：worldfoundry/data/benchmarks/tasks/external/vbench-2.0.yaml，worldfoundry/evaluation/tasks/execution/runners/vbench_2_0/runtime。

产物包括 scorecard.json（主键 vbench2_total）、dimension_scores.json 与覆盖清单。

← 返回 Benchmark Hub

VBench-2.0

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面