AI2-THOR

AI2-THOR（艾伦人工智能研究所，Ai2）是面向具身 AI 的 Unity 家居模拟器。原始 iTHOR 集合是 120 个美术手建房间：厨房、客厅、卧室、浴室各 30 个（FloorPlan1–30、201–230、301–330、401–430）。智能体使用离散动作（MoveAhead、RotateLeft、PickupObject、开关、拨动）与物理和物体状态交互。官方常用划分是每种房型 20 / 5 / 5 训练 / 验证 / 测试。后续场景包（RoboTHOR、ProcTHOR）和语言套件（ALFRED、TEACh）建立在这个引擎上——不是 WorldFoundry 默认任务。

论文：AI2-THOR: An Interactive 3D Environment for Visual AI。项目：ai2thor.allenai.org。代码：allenai/ai2thor（Apache-2.0）。

WorldFoundry 评测原生闭环：worldfoundry-eval embodied run 启动 Unity 构建，逐步执行已经输出模拟器 token 的策略。仓内配置（FloorPlan1–FloorPlan3）只做接线检查，不是 ALFRED/TEACh。也可以通过 WORLDFOUNDRY_AI2THOR_RESULTS_PATH 导入已有 rollout 导出。本页不跑 VLA 推理——策略或策略服务由你提供。

评测维度

• iTHOR 120 个房间

  类型套件

  美术手建房间：厨房 / 客厅 / 卧室 / 浴室各 30 个（FloorPlan1–30、201–230、301–330、401–430）。

• 按房型 train / val / test

  类型划分

  官方 iTHOR 惯例：每种房型前 20 个训练、接着 5 个验证、最后 5 个测试。

• WorldFoundry 接线场景

  类型划分

  仓内评测配置只用 FloorPlan1–3 验证 Unity 闭环接线，不是 ALFRED / TEACh 划分。

• ALFRED / TEACh（未捆绑）

  类型套件

  跑在 AI2-THOR 上的语言任务套件。WorldFoundry 不附带这些套件。

数据组成

• 规模

  Ai2 的 Unity 家居模拟器。原始 iTHOR 发布为 120 个可交互房间，含物理、物体状态变化与离散导航/操作动作。后续场景包（RoboTHOR、ProcTHOR）与语言套件需另行下载。

• 来源

  github.com

• 划分

  ai2thor_default

• 模态

  language · vision · action

• 许可证

  Apache-2.0

• 说明

  WorldFoundry 可为接线启动 Unity，或导入 rollout 导出。不附带 ALFRED/TEACh 资产，也不编造公开模型榜。

指标

指标

• success_rate

  方向越高越好

  评测 rollout 上的主成功率（逐 episode 成功比例）。

  主指标Success Rate

• task_success

  方向越高越好

  按任务聚合的成功率。

• episode_success

  方向越高越好

  逐 episode 成功指示的聚合值。

• reward

  方向越高越好

  模拟器给出的平均 episode 奖励 / 回报。

Leaderboard

AI2-THOR 是 Unity 家居模拟器。2017 年论文描述房间、物理与离散动作，没有目录任务的策略排名表（ALFRED/TEACh 是独立套件）。 AI2-THOR: An Interactive 3D Environment for Visual AI (2017).

如何运行

闭环接线（需要 Unity 包、模拟器缓存，以及 CloudRendering 或 X11 显示）：

worldfoundry-eval embodied run \
  --config worldfoundry/data/benchmarks/eval_configs/embodied/ai2thor/floorplan1.yaml

导入已有导出：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id ai2thor \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --output-dir tmp/ai2thor/official-validation \
  --json

可选 WORLDFOUNDRY_AI2THOR_ROOT 指向本地 runtime / 仓库。默认导入路径：WORLDFOUNDRY_AI2THOR_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/ai2thor.yaml。仓库镜像：cache/vla_va_wam/repos/allenai--ai2thor。产物：scorecard.json（主键 success_rate）、run_manifest.json、results.jsonl、metrics/summary.json。

← 返回 Benchmark Hub