WRBench

最后更新: 2026年10月7日

本页内容

评测维度数据组成指标 Leaderboard 如何运行仓内 Natural-25 资产

WRBench（“Current World Models Lack a Persistent State Core”；中科大与 X-Humanoid / 北京人形机器人创新中心）把相机运动当成 可观测性干预：事件开始，相机转开，回来时问目标是 推进到终点还是冻在离开时的状态。Natural-25 交叉 25 个场景族与四级事件设计（空间变化 × 状态变化）。标准相机轨把 100 个语义变体 × 五种相机控制 展开成 500 条请求。

分层 D1–D6：

D1 — 请求相机精度 / prompt-相机对齐
D2 — 视觉完整性
D3 / D4 — 可见时的空间 / 状态一致性
D5 / D6 — 再观察时的空间 / 状态一致性（只在可判定的隐藏-返回证据上聚合）

wrbench_average 汇总 D1–D6。论文：WRBench。项目：jinplu.github.io/WRBench。代码：JinPLu/WRBench。数据：WRBench/wrbench-natural25。

WorldFoundry 检入完整包装与 Natural-25 资产。Natural-25 请求物化与结果归一化可用；完整 D1–D6 执行未验证。打分器：VGGT-Omega、DINOv2、Qwen3.5、Qwen3-VL。

评测维度

D1 相机
类型轴
请求相机精度与 prompt-相机对齐。
D2 视觉完整性
类型轴
生成帧的视觉完整性。
D3–D4 可见
类型轴
内容可见时的空间与状态一致性。
D5–D6 再观察
类型轴
仅在隐藏-返回证据上聚合。
Natural-25
类型套件
25 场景族 × 四级事件；100 语义变体 × 5 种相机控制 = 500 条请求。

数据组成

规模
中科大 / X-Humanoid 持久状态评测。Natural-25：500 条相机控制请求。D1–D6 分层链。数据 WRBench/wrbench-natural25。
来源
WRBench/wrbench-natural25 · WRBench/wrbench-results · WRBench/wrbench-videos · github.com
划分
natural25
模态
text · image · video · camera-trajectory
说明
Natural-25 请求物化与结果归一化可用。完整 D1–D6 执行（VGGT-Omega、DINOv2、Qwen3.5、Qwen3-VL）未验证。

指标

d1_cam_prec
方向越高越好
D1-CamPrec：存在显式目标轨迹时的请求相机轨迹精度。
d1_cam_align_common_yaw
方向越高越好
D1-CamAlign（common yaw）：prompt/API 相机控制的意图对齐。
d1_cam_align_static_hold
方向越高越好
D1-CamAlign（static hold）：保持静止相机请求上的对齐。
d2_visual_integrity
方向越高越好
D2：生成帧的视觉完整性。
d3_visible_spatial_consistency
方向越高越好
D3：内容可见期间的空间一致性。
d4_visible_state_consistency
方向越高越好
D4：内容可见期间的事件状态一致性。
d5_reobservation_spatial_consistency
方向越高越好
D5：隐藏内容重新入画时的空间一致性。
d6_reobservation_state_consistency
方向越高越好
D6：返回目标的事件状态一致性（事件是否推进了）。
wrbench_average
方向越高越好
D1-D6 诊断维度的聚合分。
主指标WRBench diagnostic average

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 Hugging Face Space（WRBench）.

huggingface.co · 实时打开实时榜

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id wrbench \
  --mode official-validation \
  --official-results-path <official_results.json_or_csv> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/wrbench/official-validation \
  --json

--run-official 对照 Natural-25 给生成视频加相机 sidecar 打分（--scorer-profile、--sidecar-profile-gate）。没有再观察支持的行从 D5/D6 排除，不记失败。环境变量：WORLDFOUNDRY_WRBENCH_RESULTS_PATH、WORLDFOUNDRY_WRBENCH_ROOT。共享栈：vggt_omega、dinov2、qwen3_5_vl、qwen3_vl。

仓内指针：worldfoundry/data/benchmarks/tasks/external/wrbench.yaml，worldfoundry/data/benchmarks/assets/wrbench，worldfoundry/evaluation/tasks/execution/runners/wrbench/runtime/wrbench。

产物包括 scorecard.json（主键 wrbench_average，榜单键 Avg）与 generation_requests.jsonl。

仓内 Natural-25 资产

worldfoundry/data/benchmarks/assets/wrbench/natural25/ 是 WorldFoundry 物化请求用的 prompt 网格（与本仓库一样 Apache-2.0）。Hugging Face 镜像：合集、WRBench/wrbench-natural25、WRBench/wrbench-videos、榜单。

文件	作用
`scene_events_25x4.csv`	25 个场景族 × 4 个事件轴（无 / 空间 / 状态 / 全）
`families.jsonl`	场景族元数据与 prompt 变体
`variants.jsonl`	确定性 TI2V 变体：25 族 × 4 事件档 × 4 相机间隔。`ti2v_prompt` 是锚定首帧的正式 prompt
`variants.legacy_pronoun_20260620.jsonl`	冻结的 provenance 快照；目前与 `variants.jsonl` 字节相同
`t2v_layout_anchors.jsonl`	纯文本布局事实（主体在左、交互者在右、开放表面、背景）
`t2v_event_tails.jsonl`	按 `variant_id` 的纯文本事件 / 动作尾巴
`prompt_profiles/t2v_layout_anchor.json`	纯文本 prompt profile；禁止 T2I/TI2V 风格词
`camera_scopes/t2v_rotation_stress_30_60.json`	仅 T2V 的旋转压力范围（`static`、`yaw30_LR`、`yaw30_RL`、`yaw60_LR`、`yaw60_RL`）
`first_frames/` + `first_frames_manifest.json`	已发布的 PNG 首帧，每个 `family_id` 一张

可以用 wrbench firstframe 重生成首帧，或换成自己的 T2I 图。人工标注另行发布。纯文本榜单条目应物化 t2v_layout_anchor 和旋转压力范围，而不是主 TI2V/TV2V 面。

← 返回 Benchmark Hub