WorldReasonBench

最后更新: 2026年10月7日

本页内容

WorldReasonBench（清华，联合 NTU 与滑铁卢）把视频生成评测改写成 世界状态预测：给定初始状态与动作，模型生成的未来演化是否在物理、社会、逻辑与信息上保持一致？官方规模：436 条精选案例，结构化 QA 覆盖 四个推理维度 / 22 个子类。配套 WorldRewardBench 另有约 6 千对专家偏好。

两个协议：

过程感知推理核验 — 结构化 QA 加推理阶段诊断。主键 score_pr 几何组合 QA 准确率与动态推理分。reasoning_gap（静态结果减动态推理；越低越好）标记结果投机。
多维质量评估 — 推理质量、时间一致性、视觉美学。奖励模型路径还报逐点 / 成对相关。

论文：WorldReasonBench。项目：unix-ai-lab.github.io/WorldReasonBench。代码：UniX-AI-Lab/WorldReasonBench。上游 README 禁止未经批准的再分发、修改与商用，尽管也提到 MIT。

WorldFoundry 托管协议 runtime，使用 OpenAI 兼容多模态裁判。结果归一化 / QA 组件代码存在；不声称已完成完整官方裁判运行。

评测维度

过程感知推理核验
类型赛道
结构化 QA 加推理阶段诊断。主键 score_pr。reasoning_gap 越低越好。
多维质量评估
类型赛道
推理质量、时间一致性、视觉美学。
WorldRewardBench
类型套件
约 6 千对专家偏好，用于逐点/成对奖励模型评估。

数据组成

规模
清华世界状态预测评测。436 例、4 个推理维度 / 22 子类。受限：README 禁止未经批准的再分发/修改/商用。
来源
WorldReasonBench · github.com
模态
image · video · text
许可证
restricted_noncommercial
说明
结果归一化/QA 组件代码存在。不声称已完成完整官方裁判运行。

指标

score_pr
方向越高越好
QA 准确率与动态推理得分的几何组合。
主指标Process-aware Reasoning Score
qa_accuracy
方向越高越好
相对真值世界状态问题的结构化 QA 准确率。
state_score
方向越高越好
最终预测世界状态的正确性。
process_score
方向越高越好
状态演化过程的推理阶段诊断分。
fidelity_score
方向越高越好
生成演化的内容保真度。
mechanism_score
方向越高越好
驱动演化的因果机制正确性。
static_outcome_score
方向越高越好
仅凭静态（末态）证据判定的结果分。
dynamic_reasoning_score
方向越高越好
基于完整时序演化判定的推理分。
reasoning_gap
方向越低越好
静态结果分减去动态推理分；数值越低说明结果作弊越少。
pointwise_score
方向越高越好
用于 reward model 评测的点式质量分。
reasoning_correctness
方向越高越好
多维质量评估：推理质量。
content_fidelity
方向越高越好
多维质量评估：时序/内容一致性。
visual_aesthetics
方向越高越好
多维质量评估：视觉美学。
pointwise_spearman
方向越高越好
点式分数与专家排名的 Spearman 相关系数。
induced_pairwise_accuracy
方向越高越好
由点式分数诱导的成对偏好准确率。
pairwise_accuracy_with_ties
方向越高越好
计入平局对的成对偏好准确率。
pairwise_accuracy_without_ties
方向越高越好
剔除平局对的成对偏好准确率。

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 WorldReasonBench: Human-Aligned Stress Testing of Video Generators as Future World-State Predictors (2026).

模型	Score PR（%）
Seedance2.0	39.8
Veo3.1-Fast	35.3
Sora2-8s	34.3
Kling	32.7
Wan2.6	32.4
Sora2-12s	32.4
HunyuanVideo-1.5	17.9
Wan2.2-14B	17.5

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id worldreasonbench \
  --mode official-validation \
  --official-results-path <official_results_dir> \
  --output-dir tmp/worldreasonbench/official-validation \
  --json

--protocol 选择协议。QA / 成对文件：--qa-json、--pairs-json。裁判：--base-url、--api-key、--model、--judge-model。默认导入：WORLDFOUNDRY_WORLDREASONBENCH_RESULTS_PATH。

仓内指针：worldfoundry/data/benchmarks/tasks/external/worldreasonbench.yaml，worldfoundry/evaluation/tasks/execution/runners/worldreasonbench。

产物包括 scorecard.json（主键 score_pr）与 protocol_results.json。

← 返回 Benchmark Hub

WorldReasonBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面