---
title: VMBench
description: "阿里高德 ICCV 2025 运动评测：1050 条 prompt、五个本地指标。WorldFoundry 内置打分器，不编造榜单。"
---

VMBench（AMAP-ML；ICCV 2025）用五个对齐感知的本地指标评 **运动生成**——没有托管裁判 API：

- **PAS** — 可感知幅度
- **OIS** — 运动中的物体完整性
- **TCS** — 时间连贯
- **CAS** — 常识遵守
- **MSS** — 运动平滑

官方套件：**1050 条运动向 prompt**。视频命名 `0001.mp4` … `1050.mp4`。`vmbench_average` 是已有 PAS/OIS/TCS/CAS/MSS 的均值。许可证：Apache-2.0。

论文：[VMBench（ICCV 2025）](https://openaccess.thecvf.com/content/ICCV2025/html/Ling_VMBench_A_Benchmark_for_Perception-Aligned_Video_Motion_Generation_ICCV_2025_paper.html)。项目：[amap-ml.github.io/VMBench-Website](https://amap-ml.github.io/VMBench-Website/)。代码：[AMAP-ML/VMBench](https://github.com/AMAP-ML/VMBench)。

WorldFoundry **仓内内置官方指标代码**，并捆绑 prompt 套件（`worldfoundry/data/benchmarks/assets/vmbench/prompts/prompts.json`）。接入时官方 HF 数据集端点 **尚未公开**。结果 / runtime 接线存在；**完整 CUDA 指标重算未验证**。完整重算需要 MMDetection / MMPose / DeepSpeed 与检测 / 跟踪权重。

<BenchmarkPageSections id="vmbench" locale="zh" />

## 如何运行

```bash
worldfoundry-eval zoo benchmark-run \
  --benchmark-id vmbench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/vmbench/official-validation \
  --json
```

```bash
${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/vmbench/run_vmbench_official_runner.py \
  --run-official \
  --generated-video-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --prompt-manifest "${WORLDFOUNDRY_VMBENCH_PROMPT_MANIFEST}" \
  --output-dir tmp/vmbench/official-run \
  --json
```

环境变量：`WORLDFOUNDRY_VMBENCH_PROMPT_MANIFEST`（默认仓内套件）、`WORLDFOUNDRY_VMBENCH_RESULTS_PATH`。共享栈：`motion_stack`。

仓内指针：`worldfoundry/data/benchmarks/tasks/external/vmbench.yaml`，`worldfoundry/evaluation/tasks/execution/runners/vmbench/runtime/official`。

产物包括 `scorecard.json`（主键 `vmbench_average`，榜单键 `Avg`）。

[← 返回 Benchmark Hub](/zh/docs/evaluation/benchmark-hub)