---
title: WorldReasonBench
description: "清华的世界状态预测评测：436 例，过程感知 QA 加质量。WorldFoundry 托管协议；资产受限，且没有完整官方裁判运行。"
---

WorldReasonBench（清华，联合 NTU 与滑铁卢）把视频生成评测改写成 **世界状态预测**：给定初始状态与动作，模型生成的未来演化是否在物理、社会、逻辑与信息上保持一致？官方规模：**436 条精选案例**，结构化 QA 覆盖 **四个推理维度 / 22 个子类**。配套 **WorldRewardBench** 另有约 6 千对专家偏好。

两个协议：

- **过程感知推理核验** — 结构化 QA 加推理阶段诊断。主键 `score_pr` 几何组合 QA 准确率与动态推理分。`reasoning_gap`（静态结果减动态推理；**越低越好**）标记结果投机。
- **多维质量评估** — 推理质量、时间一致性、视觉美学。奖励模型路径还报逐点 / 成对相关。

论文：[WorldReasonBench](https://arxiv.org/abs/2605.10434)。项目：[unix-ai-lab.github.io/WorldReasonBench](https://unix-ai-lab.github.io/WorldReasonBench/)。代码：[UniX-AI-Lab/WorldReasonBench](https://github.com/UniX-AI-Lab/WorldReasonBench)。上游 README **禁止未经批准的再分发、修改与商用**，尽管也提到 MIT。

WorldFoundry **托管协议 runtime**，使用 OpenAI 兼容多模态裁判。结果归一化 / QA 组件代码存在；**不声称已完成完整官方裁判运行**。

<BenchmarkPageSections id="worldreasonbench" locale="zh" />

## 如何运行

```bash
worldfoundry-eval zoo benchmark-run \
  --benchmark-id worldreasonbench \
  --mode official-validation \
  --official-results-path <official_results_dir> \
  --output-dir tmp/worldreasonbench/official-validation \
  --json
```

`--protocol` 选择协议。QA / 成对文件：`--qa-json`、`--pairs-json`。裁判：`--base-url`、`--api-key`、`--model`、`--judge-model`。默认导入：`WORLDFOUNDRY_WORLDREASONBENCH_RESULTS_PATH`。

仓内指针：`worldfoundry/data/benchmarks/tasks/external/worldreasonbench.yaml`，`worldfoundry/evaluation/tasks/execution/runners/worldreasonbench`。

产物包括 `scorecard.json`（主键 `score_pr`）与 `protocol_results.json`。

[← 返回 Benchmark Hub](/zh/docs/evaluation/benchmark-hub)