RLBench
RLBench（IEEE RA-L / ICRA 2020）是帝国理工学院 Dyson 机器人实验室的评测：100 个独特手工操作任务，给 CoppeliaSim（经 PyRep）里的 Franka Panda 用。每个任务有程序化变体（物体位姿、目标）。运动规划器可以吐出无限演示，因此同一套件支持模仿学习、强化学习与少样本协议。观测是多相机视觉加状态 / 语言。
论文：RLBench: The Robot Learning Benchmark & Learning Environment。项目：sites.google.com/view/rlbench。代码：stepjam/RLBench。本目录里 GitHub 许可证元数据是 other:noassertion_github_api——复用前先看上游条款。
WorldFoundry 只导入官方结果。你在上游跑 CoppeliaSim / PyRep / 官方任务资产，再经 official-validation 归一化 JSON/CSV。仓内无模拟器。导出须声明任务列表与协议（少样本 vs 模仿 vs RL）。
评测维度
- 100 个手工任务类型套件
CoppeliaSim 中 Franka Panda 的桌面 / 近桌技能。只能比较同一任务列表。
- 程序化变体类型划分
每个任务采样物体位姿与目标变体；运动规划器演示可无限生成。
- 少样本协议类型赛道
官方少样本设置：有限演示，再在留出变体上评测。
- 模仿 / 强化学习类型赛道
同一任务可出模仿学习与强化学习成绩单。不要混报。
数据组成
- 规模
CoppeliaSim（经 PyRep）中 Franka Panda 上的 100 个独特手工视觉引导操作任务。运动规划器可无限生成演示。GitHub API 许可证为 NOASSERTION——复用前先看上游条款。
- 来源
github.com
- 划分
few_shot
- 模态
language · vision · action · state
- 许可证
other:noassertion_github_api
- 说明
WorldFoundry 归一化策略 rollout 导出。CoppeliaSim、PyRep 与任务资产留在上游。
指标
指标
- 方向越高越好
success_rate在声明的任务列表与协议（少样本 / 模仿 / RL）上的主 episode 成功率。
主指标Success Rate
- 方向越高越好
task_success100 个手工任务上的逐任务成功率。
- 方向越高越好
episode_success当导出列出逐条 rollout 时的逐 episode 成功指示。
- 方向越高越好
reward若官方导出包含稠密奖励，则为平均 episode 回报。
- 方向越高越好
normalized_return当导出提供时，按声明范围缩放的回报。
Leaderboard
没有 RLBench 实时榜。2019 年论文介绍 100 任务环境与示范 API；arXiv HTML/ar5iv 没有数值化的策略排名表。 RLBench: The Robot Learning Benchmark & Learning Environment (2019).
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id rlbench \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/rlbench/official-validation \
--json省略 --official-results-path 时，默认导入路径是 WORLDFOUNDRY_RLBENCH_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/rlbench.yaml。输出：scorecard.json（主键 success_rate）与 raw_results.jsonl。