WorldModelBench

WorldModelBench（NVIDIA、UC Berkeley、UC San Diego、MIT；NeurIPS 2025）把视频生成器当世界模型来评，覆盖 7 个应用域 / 56 个子域。官方规模：350 条实例，对照 6.7 万条众包人类标注 校准。三个分面：

• 指令跟随
• 常识推理
• 物理遵守（例如不规则尺寸变化这类质量守恒违规）

官方裁判是微调的 2B VILA 系 多模态模型，论文报告在检测世界建模违规上优于 GPT-4o。world_model_average 汇总公开分面。

论文：WorldModelBench。项目：worldmodelbench-team.github.io。代码：WorldModelBench-Team/WorldModelBench。数据：Efficient-Large-Model/worldmodelbench。

WorldFoundry 检入上游 evaluation.py 与 350 条实例清单。结果导入与清单覆盖检查已验证；完整裁判权重执行未验证。榜单答案在上游扣留。

评测维度

• 指令跟随

  类型轴

  rollout 是否遵循指令？

• 常识

  类型轴

  7 域 / 56 子域上的常识推理。

• 物理遵守

  类型轴

  例如不规则尺寸变化这类质量守恒违规。

数据组成

• 规模

  NeurIPS 2025 世界模型裁判套件。350 条实例、6.7 万条众包标注、微调 2B VILA 裁判。榜单答案在上游扣留。

• 来源

  Efficient-Large-Model/worldmodelbench · github.com

• 模态

  text · image · video

• 许可证

  unknown_pending_review

• 说明

  结果导入与清单覆盖检查已验证。完整裁判权重执行未验证。

指标

指标

• instruction_following

  方向越高越好

  WorldModelBench 指令遵循得分。

• common_sense

  方向越高越好

  WorldModelBench 常识推理得分。

• physical_adherence

  方向越高越好

  WorldModelBench 物理符合度得分。

• world_model_average

  方向越高越好

  公开 WorldModelBench 指标族的归一化聚合分。

  主指标World Model Average

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 worldmodelbench-team.github.io.

如何运行

hf download Efficient-Large-Model/worldmodelbench --repo-type dataset \
  --local-dir cache/worldfoundry/data/hfd_datasets/Efficient-Large-Model/worldmodelbench

worldfoundry-eval zoo benchmark-run \
  --benchmark-id worldmodelbench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --benchmark-data-root <worldmodelbench_data_root> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/worldmodelbench/official-validation \
  --json

official-run 用 WORLDFOUNDRY_WORLDMODELBENCH_JUDGE（VILA 权重或 HF 模型 id）驱动 evaluation.py。封装会按 N、2N、5N 类别长度校验 accs/preds 形状，并记录 350 条视频覆盖。环境变量：WORLDFOUNDRY_WORLDMODELBENCH_RESULTS_PATH、WORLDFOUNDRY_WORLDMODELBENCH_DATA_ROOT。共享资源：worldmodelbench_dataset_assets。清单：worldfoundry/data/benchmarks/assets/worldmodelbench/worldmodelbench.json。

仓内指针：worldfoundry/data/benchmarks/tasks/external/worldmodelbench.yaml，worldfoundry/evaluation/tasks/execution/runners/worldmodelbench/runtime/evaluation.py。

产物包括 scorecard.json（主键 world_model_average）与 judge_responses.jsonl。

← 返回 Benchmark Hub