---
title: WorldBench
description: "UCLA 诊断物理评测：425 个 Kubric 场景，SAM2 对照真值物理，外加文本 QA。WorldFoundry 实现仓内打分器，不编造榜单。"
---

WorldBench（UCLA，联合 Sony AI、耶鲁与 DEVCOM ARL）诊断世界模型离 **物理** 有多近。**Kubric**（PyBullet + Blender）渲染 **425** 个物理准确场景，覆盖运动物理、物体恒存、支撑关系、尺度 / 透视，并带真值深度、法线、分割与光流。模型从初始帧生成续写；**SAM2** 跟踪首帧框，掩码与仿真比较（前景 mIoU、背景 RMSE）。文本子集另有多选与是否 QA。

公开评测器把 Dice 叫做 “mIoU”。WorldFoundry 分开报 **常规 `foreground_miou`** 与发布版的 **`foreground_dice` 兼容值**。当前检视的 HF 树是 **375** 个场景目录（15 情景 × 25），而不是论文的 425。

论文：[WorldBench](https://arxiv.org/abs/2601.21282)。项目：[world-bench.github.io](https://world-bench.github.io/)。数据：[`worldbenchmark/IntuitivePhysics`](https://huggingface.co/datasets/worldbenchmark/IntuitivePhysics)。数据集与评测器 **未声明再分发许可证**。

WorldFoundry 实现了仓内、模型支撑的 runner。运行时环境仍记录：**没有确认可再分发的官方原始视频评测器**，以及 **从视频做 `official-run` 不是发布声明**。兼容路径是通过 `WORLDFOUNDRY_WORLDBENCH_RESULTS_PATH` 导入。

<BenchmarkPageSections id="worldbench" locale="zh" />

## 如何运行

```bash
hf download worldbenchmark/IntuitivePhysics --repo-type dataset \
  --local-dir cache/worldfoundry/data/hfd_datasets/worldbenchmark/IntuitivePhysics

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/worldbench/run_worldbench_official_runner.py \
  --run-official \
  --video-only \
  --dataset-root "${WORLDFOUNDRY_WORLDBENCH_DATASET_ROOT}" \
  --generated-video-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --sam2-checkpoint "${WORLDFOUNDRY_WORLDBENCH_SAM2_CKPT}" \
  --output-dir tmp/worldbench/video \
  --json
```

已有掩码时用 `--predicted-mask-dir` 跳过 SAM2。`--text-only` 加 `--answer-manifest` 覆盖 QA。帧对齐：`--ground-truth-start-frame`、`--generated-skip-frames`。共享资源：`worldbench_dataset_assets`、`facebook/sam2.1-hiera-large`。

仓内指针：`worldfoundry/data/benchmarks/tasks/external/worldbench.yaml`，`worldfoundry/evaluation/tasks/execution/runners/worldbench`。

产物包括 `scorecard.json`（主键 `foreground_miou`）与 `worldbench_evaluation.json`。

## 数据集、视频与帧对齐

仓内 runtime **不** import 上游 checkout。SAM2 来自 `worldfoundry.base_models.perception_core.segment.sam2`。数据集根必须是公开 HF 布局：

```text
<dataset>/
  scenes/<group>/<scenario>/<scene>/
    rgba_00000.png
    segmentation_00000.png
    …
  textual_questions/*.json
```

生成续写可以对齐场景 id：

```text
<generated>/<group>/<scenario>/<scene>.mp4
<generated>/<group>/<scenario>/<scene>/output.mp4
<generated>/<group>/<scenario>/<scene>/00000.png
```

其他视频布局用 `--video-manifest`（JSON / JSONL / CSV / TSV），每行要有 `sample_id` 与 `video_path`。文本预测用 `--answer-manifest`。稳定 `question_id` 是 `<question-file-stem>:<row>`；或同时给 `video_name` 与 `question`，因为有的视频有两道题。

评测用 **9 帧条件帧**。默认生成帧 0 对齐真值帧 9，再打 **24 帧续写**。若模型把那 9 帧也拼进输出，传 `--generated-skip-frames 9`。默认值在 `worldfoundry/data/benchmarks/assets/worldbench/evaluator.yaml`。

原始视频打分默认 `facebook/sam2.1-hiera-large`。本地权重用 `WORLDFOUNDRY_WORLDBENCH_SAM2_CKPT`，否则走 HF cache。只导入时用 `--official-results-path`，不要加 `--run-official`。

环境用 `worldfoundry-unified-cu128`。仓内跑通只是集成证据，在全量数值对齐审过之前不会标 `leaderboard_valid`。检视过的上游钉选 `WorldBenchmark/worldbench_eval@4575a164…` 没有 license，公开评测器也损坏；出处写在 catalog YAML，没有 `SOURCE.json`。

[← 返回 Benchmark Hub](/zh/docs/evaluation/benchmark-hub)