MolmoSpaces-Bench
MolmoSpaces-Bench 是艾伦人工智能研究所（Ai2）为 MolmoBot / MolmoSpaces 空间语言操作准备的仿真评测。论文中的训练数据（MolmoBot-Data）是 170 万条专家轨迹，生态数字为 23.2 万环境、4.8 万可操作物体——那不是本评测。评测本身是 1000 episode 阶梯：Pick MSProc / Classic / 照片级 Pick / Pick Random-Cam（20 秒），然后是 Pick&Place、PnP Next-To（5 cm）、PnP Color（40 秒）。官方表把抓取阶段成功率与最终 / oracle 成功率分开。公开榜在 molmospaces.allen.ai/leaderboard；本 Hub 尚未收录其行。
论文：MolmoBot。项目：allenai.github.io/MolmoBot。代码：allenai/MolmoBot。WorldFoundry 的 contract 划分名是 pick_and_place。
WorldFoundry 导入官方 rollout 导出。它不跑 MolmoSpaces、不生成那 170 万条，也不把 Ai2 榜复制到本页。
评测维度
- 抓取变体类型任务
Pick MSProc、Pick Classic、照片级 Pick 与 Pick Random-Cam。官方仿真为 1000 episode；抓取时限 20 秒。
- 抓放变体类型任务
Pick&Place（放入容器）、PnP Next-To（5 cm 内）、PnP Color。时限 40 秒。WorldFoundry contract 划分名为 pick_and_place。
- 抓取阶段 vs 最终成功类型轴
官方表把抓取阶段成功率与完整任务 / oracle 最终成功率分开报。
数据组成
- 规模
Ai2 为 MolmoBot / MolmoSpaces 准备的评测套件。训练数据 MolmoBot-Data 为 170 万条专家轨迹；论文称生态有 23.2 万环境、4.8 万可操作物体。评测本身是 1000 episode 仿真阶梯加真机桌面协议——不是那 170 万条。官方榜：molmospaces.allen.ai/leaderboard。
- 来源
github.com
- 划分
pick_and_place
- 模态
language · vision · action · state
- 许可证
upstream_terms
- 说明
官方 leaderboard 存在。本 Hub 尚未收录其行。WorldFoundry 只归一化调用方提供的导出。
指标
指标
- 方向越高越好
success_rate导入划分上的完整任务 / 最终 episode 成功率。
主指标Success Rate
- 方向越高越好
pick_success_rate抓取阶段成功率，与放置 / 最终成功分开报。
- 方向越高越好
task_success按任务聚合的成功率（抓取 vs 抓放变体）。
- 方向越高越好
reward导出包含时的平均 episode 奖励 / 回报。
Leaderboard
官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 molmospaces.allen.ai.
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id molmospaces \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/molmospaces/official-validation \
--json可选 WORLDFOUNDRY_MOLMOSPACES_ROOT 指向本地 runtime / 仓库。默认导入路径：WORLDFOUNDRY_MOLMOSPACES_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/molmospaces.yaml。产物：scorecard.json（主键 success_rate；另有 pick_success_rate）、raw_results.jsonl、evaluation/summary.json。