ManiSkill

ManiSkill 是加州大学圣迭戈分校 Hao Su 实验室在 SAPIEN 上的 GPU 并行操作评测：数十个技能族、多种机器人本体、演示数据集，以及面向 RL 与模仿学习的大规模并行 rollout。论文是 ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations。项目：maniskill.ai。代码：haosulab/ManiSkill（Apache-2.0）。后来的 ManiSkill2 / ManiSkill3 仍是同一实验室和引擎；本卡片是 ManiSkill 导入器，不是那些页面的静默改名。

WorldFoundry 的路径是只收官方结果。你在上游工具里跑完，再用 official-validation 把 JSON/CSV rollout 摘要归一进统一 scorecard。模拟器执行、策略加载和数据采集保持显式、留在上游。仓库镜像：cache/vla_va_wam/repos/haosulab--ManiSkill。

评测维度

• 刚体操作

  类型类别

  SAPIEN 上的抓取、堆叠、插入等刚体任务族。

• 软体 / 关节物体

  类型类别

  接触与关节限位起作用的软体、关节资产。

• 机器人本体

  类型轴

  多种机械臂与夹爪；官方套件在 SAPIEN 上 GPU 并行。

• 演示 vs 强化学习

  类型赛道

  面向模仿学习的大规模演示，以及大规模并行 RL rollout。

数据组成

• 规模

  UCSD Hao Su 实验室的 GPU 并行 SAPIEN 评测：数十个操作任务族、多种本体与演示数据。WorldFoundry 不跑模拟器，只归一化官方 rollout 导出。

• 来源

  github.com

• 模态

  language · vision · action · state

• 许可证

  apache-2.0

• 说明

  模拟器执行、策略加载与 rollout 采集仍在上游。本页是官方结果导入器。

指标

指标

• success_rate

  方向越高越好

  评测 rollout 上的主成功率（逐 episode 成功比例）。

  主指标Success Rate

• task_success

  方向越高越好

  按任务聚合的成功率。

• reward

  方向越高越好

  平均 episode 奖励 / 回报。

• normalized_return

  方向越高越好

  归一化 episode 回报。

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 与 ManiSkill2 同一篇官方论文。PickCube 上从头训练的视觉 RL。 ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills (2023).

模型	PickCube 成功率（从头视觉 RL）
PPO, point cloud	0.22
PPO, RGBD	0.01

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id maniskill \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --output-dir tmp/maniskill/official-validation \
  --json

省略 --official-results-path 时，默认导入路径是 WORLDFOUNDRY_MANISKILL_RESULTS_PATH。任务清单：worldfoundry/data/benchmarks/tasks/external/maniskill.yaml。产物：scorecard.json（主键 success_rate）与 raw_results.jsonl。

← 返回 Benchmark Hub