SimplerEnv

SimplerEnv（SIMPLER — Simulated Manipulation Policy Evaluation for Real Robot Setups）是加州大学圣迭戈分校与 Google DeepMind（联合斯坦福、伯克利）的 real-to-sim 评测。ManiSkill2 / SAPIEN 场景经过标定，让 RT-1、RT-1-X、Octo 等策略在仿真里的排序，尽量对上对应的 Google Robot 与 WidowX / Bridge 真机排序。套件的要点是那份相关性，不是又一套厨房资产。

论文：OpenReview。项目：simpler-env.github.io。代码：simpler-env/SimplerEnv（MIT）。

WorldFoundry 不跑这些场景。它把官方 rollout 导出归一进 scorecard。上游 rollout 仍需要 ManiSkill2/SAPIEN 栈和本体资产。仓库镜像：cache/vla_va_wam/repos/simpler-env--SimplerEnv。

评测维度

• Google Robot

  类型划分

  按 Google Robot 真机设置标定的 ManiSkill2/SAPIEN 场景。

• WidowX / Bridge

  类型划分

  与 BridgeData 真机评测对齐的 WidowX 场景。

数据组成

• 规模

  SIMPLER（面向真机设置的仿真操作策略评测）：用已验证的 real-to-sim 相关性，在仿真里给 RT-1、RT-1-X、Octo 等策略排序。

• 来源

  github.com

• 划分

  google_robot · widowx_bridge

• 模态

  language · vision · action · state

• 许可证

  mit

• 说明

  SimplerEnv 在模拟器里评测策略 rollout；WorldFoundry 归一化生成的结果文件与 rollout 日志。

指标

指标

• success_rate

  方向越高越好

  评测 rollout 上的主成功率（逐 episode 成功比例）。

  主指标Success Rate

• task_success

  方向越高越好

  按任务聚合的成功率。

• episode_success

  方向越高越好

  逐 episode 成功指示的聚合值。

• reward

  方向越高越好

  平均 episode 奖励 / 回报。

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文 SIMPLER 视觉匹配列。真机成功率另行报告。 Evaluating Real-World Robot Manipulation Policies in Simulation (2024).

模型	仿真平均成功率（视觉匹配）
RT-1 (converged)	0.857
RT-2-X	0.787
RT-1 (15%)	0.710
RT-1-X	0.567
RT-1 (single-task)	0.403
Octo-Base	0.170
RT-1 (begin)	0.027

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id simpler-env \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --output-dir tmp/simpler-env/official-validation \
  --json

默认导入路径：WORLDFOUNDRY_SIMPLERENV_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/simpler-env.yaml。产物：scorecard.json（主键 success_rate）与 raw_results.jsonl。

← 返回 Benchmark Hub