VBench++

VBench++（S-Lab、南洋理工与上海人工智能实验室）为 VBench 增加三条赛道。它 不是 VBench-2.0。同一上游仓库：Vchitect/VBench（Apache-2.0）。

• 图像生成视频 — 官方可裁剪图像套件上的 I2V 主体 / 背景一致性与相机运动。
• 长视频 — 时间窗口打分；目录记录的有界命令用 temporal_flickering / long_custom_input。
• 可信度 — 公平、偏见、安全探针（部分需要额外人脸 / 属性模型）。

--variant 选择 i2v、long 或 trustworthiness。各变体平均分再加 vbench_plus_plus_average（WorldFoundry 对已有维度的均值）。

论文：VBench++。项目：vchitect.github.io/VBench-project。

WorldFoundry 仓内内置 VBench++ runtime。有界长视频组件已验证；全套未验证。

评测维度

• 图像生成视频

  类型赛道

  官方可裁剪图像套件上的 I2V 主体/背景一致性与相机运动。

• 长视频

  类型赛道

  时间窗口打分。已验证有界组件：temporal_flickering / long_custom_input。

• 可信度

  类型赛道

  公平、偏见、安全探针；部分需要额外人脸/属性模型。

数据组成

• 规模

  VBench 扩展（I2V、长视频、可信度），在 Vchitect/VBench 仓库。与 VBench、VBench-2.0 不同。Apache-2.0。

• 来源

  github.com

• 许可证

  Apache-2.0

• 说明

  WorldFoundry 内置 VBench++ runtime。有界长视频组件已验证；全套未验证。

指标

指标

• vbench_plus_plus_i2v_average

  方向越高越好

  可用官方 VBench++ 图生视频维度的均值。

• vbench_plus_plus_long_average

  方向越高越好

  可用官方 VBench++ 长视频维度的均值。

• vbench_plus_plus_trustworthiness_average

  方向越高越好

  可用官方 VBench++ 可信度维度的均值。

• vbench_plus_plus_average

  方向越高越好

  WorldFoundry 包装器归一化的可用官方 VBench++ 变体维度均值。

  主指标VBench++ Average

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 Hugging Face Space（Vchitect）.

如何运行

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/run_vbench_plus_plus_official_runner.py \
  --benchmark-id vbench-plus-plus \
  --variant long \
  --videos-path "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --dimension temporal_flickering \
  --mode long_custom_input \
  --python "${WORLDFOUNDRY_UNIFIED_PYTHON}" \
  --output-dir tmp/vbench-plus-plus/long \
  --json

I2V 使用官方图像套件命名。可选 checkout 覆盖：WORLDFOUNDRY_VBENCH_PLUS_PLUS_ROOT。共享栈：vbench_perception_metric_stack。Prompt / 图像套件在公开 VBench 仓库中。

仓内指针：worldfoundry/data/benchmarks/tasks/external/vbench-plus-plus.yaml，worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/runtime。

产物包括 scorecard.json（主键 vbench_plus_plus_average）与 dimension_scores.json。

← 返回 Benchmark Hub