World-in-World

World-in-World（约翰霍普金斯，联合北大、普林斯顿、MIT 与哈佛；ICLR 2026 口头）在镜像智能体-环境交互的 闭环 里评生成式世界模型。任务成功优先于视觉质量。 统一在线规划器与标准化动作 API 覆盖四个环境：

• Active Recognition
• Active Embodied QA
• Image-Goal Navigation（成功率 + SPL）
• 机器人操作

论文发现：视觉质量本身不保证成功（可控性更重要）；动作-观察后训练优于升级视频生成器；推理时计算能提升闭环表现。

world_in_world_average 是已有闭环指标的均值。

论文：World-in-World。项目：world-in-world.github.io。代码：World-In-World/world-in-world。

WorldFoundry 是 结果导入器。闭环环境、规划器、worker 与任务打分器在 上游 执行。捆绑资产只支持解析与覆盖检查。

评测维度

• 主动识别

  类型任务

  闭环识别成功。

• 主动具身问答

  类型任务

  答题分加探索 SPL。

• 图像目标导航

  类型任务

  成功率与 SPL。

• 机器人操作

  类型任务

  闭环操作成功。

数据组成

• 规模

  ICLR 2026 口头闭环效用评测。四个环境，统一规划器与动作 API。任务成功优先于视觉质量。

• 来源

  github.com

• 模态

  video · action · observation

• 说明

  WorldFoundry 只导入任务摘要。闭环 runtime 对齐仍待完成。

指标

指标

• active_recognition_success_rate

  方向越高越好

  主动识别闭环任务成功率。

• image_goal_navigation_success_rate

  方向越高越好

  图像目标导航成功率。

• image_goal_navigation_spl

  方向越高越好

  图像目标导航按路径长度加权的成功率（SPL）。

• active_embodied_qa_score

  方向越高越好

  主动具身 QA 的答案得分。

• active_embodied_qa_spl

  方向越高越好

  主动具身 QA 探索过程的 SPL。

• robotic_manipulation_success_rate

  方向越高越好

  机器人操作任务成功率。

• interaction_trace_consistency

  方向越高越好

  世界模型预测交互轨迹的一致性。

• world_in_world_average

  方向越高越好

  可用闭环任务指标的均值。

  主指标World In World Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文主动识别成功率。† 表示视频生成后训练。 World-in-World: World Models in a Closed-Loop World (2025).

模型	主动识别成功率
WAN2.1 †post-train	62.98
SVD †post-train	60.62
Wan2.1	58.26
SVD	57.71
Hunyuan	57.71
SE3DS	57.53
Heuristic (w/o WM)	39.02

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id world-in-world \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/world-in-world/official-validation \
  --json

可选 --task / --exp-id 限定导入范围。默认：WORLDFOUNDRY_WORLD_IN_WORLD_RESULTS_PATH。

仓内指针：worldfoundry/data/benchmarks/tasks/external/world-in-world.yaml，worldfoundry/data/benchmarks/assets/world-in-world，worldfoundry/evaluation/tasks/execution/runners/world_in_world。

产物包括 scorecard.json（主键 world_in_world_average）。

← 返回 Benchmark Hub