VMBench

VMBench（AMAP-ML；ICCV 2025）用五个对齐感知的本地指标评 运动生成——没有托管裁判 API：

• PAS — 可感知幅度
• OIS — 运动中的物体完整性
• TCS — 时间连贯
• CAS — 常识遵守
• MSS — 运动平滑

官方套件：1050 条运动向 prompt。视频命名 0001.mp4 … 1050.mp4。vmbench_average 是已有 PAS/OIS/TCS/CAS/MSS 的均值。许可证：Apache-2.0。

论文：VMBench（ICCV 2025）。项目：amap-ml.github.io/VMBench-Website。代码：AMAP-ML/VMBench。

WorldFoundry 仓内内置官方指标代码，并捆绑 prompt 套件（worldfoundry/data/benchmarks/assets/vmbench/prompts/prompts.json）。接入时官方 HF 数据集端点 尚未公开。结果 / runtime 接线存在；完整 CUDA 指标重算未验证。完整重算需要 MMDetection / MMPose / DeepSpeed 与检测 / 跟踪权重。

评测维度

• PAS

  类型轴

  可感知幅度。

• OIS

  类型轴

  运动中的物体完整性。

• TCS

  类型轴

  时间连贯。

• CAS

  类型轴

  常识遵守。

• MSS

  类型轴

  运动平滑。

数据组成

• 规模

  阿里高德 ICCV 2025 运动评测。1050 条 prompt，命名 0001.mp4–1050.mp4。五个本地指标，无托管裁判。Apache-2.0。接入时官方 HF 数据集未公开。

• 来源

  github.com

• 许可证

  Apache-2.0

• 说明

  仓内 prompt 包是跟踪源。结果/runtime 接线存在；完整 CUDA 重算（MMDetection/MMPose/DeepSpeed）未验证。

指标

指标

• perceptible_amplitude_score

  方向越高越好

  官方 VMBench PAS 指标：可感知运动幅度。

• object_integrity_score

  方向越高越好

  官方 VMBench OIS 指标：运动中的物体身份与完整性。

• temporal_coherence_score

  方向越高越好

  官方 VMBench TCS 指标：时序连贯性。

• commonsense_adherence_score

  方向越高越好

  官方 VMBench CAS 指标：动作与运动常识符合度。

• motion_smoothness_score

  方向越高越好

  官方 VMBench MSS 指标：运动平滑度。

• vmbench_average

  方向越高越好

  可用官方 VMBench PAS/OIS/TCS/CAS/MSS 组件分的均值。

  主指标VMBench Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 VMBench: A Benchmark for Perception-Aligned Video Motion Generation (2025).

模型	PMM 平均
Wan2.1	78.4
HunyuanVideo	63.4
CogVideoX-5B	60.6
OpenSora-Plan-v1.3.0	58.9
Mochi 1	53.2
OpenSora-v1.2	51.6

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id vmbench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/vmbench/official-validation \
  --json

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/vmbench/run_vmbench_official_runner.py \
  --run-official \
  --generated-video-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --prompt-manifest "${WORLDFOUNDRY_VMBENCH_PROMPT_MANIFEST}" \
  --output-dir tmp/vmbench/official-run \
  --json

环境变量：WORLDFOUNDRY_VMBENCH_PROMPT_MANIFEST（默认仓内套件）、WORLDFOUNDRY_VMBENCH_RESULTS_PATH。共享栈：motion_stack。

仓内指针：worldfoundry/data/benchmarks/tasks/external/vmbench.yaml，worldfoundry/evaluation/tasks/execution/runners/vmbench/runtime/official。

产物包括 scorecard.json（主键 vmbench_average，榜单键 Avg）。

← 返回 Benchmark Hub