RoboCerebra
RoboCerebra（北京航空航天大学 CoLa 实验室，NeurIPS 2025）考察长时程家务序列上的 System-2 规划，而不是反应式 System-1 控制。官方发布是 100 个任务变体上的 1000 条人工标注轨迹（平均 9.1 个原子步；时程约 3000 仿真步），建立在 LIBERO 栈上。发表评测为 600 次 rollout（60 任务 × 10 次），并用锚点对齐规划器 / VLA 交接。六个官方条件：Ideal、Memory Exploration、Memory Execution、Random Disturbance、Observation Mismatching、Mix。
论文：RoboCerebra。项目：robocerebra.github.io。代码：buaa-colalab/RoboCerebra。
WorldFoundry 导入官方结果导出（worldfoundry-eval zoo benchmark-run --mode official-validation）。它不跑捆绑的 LIBERO 模拟器、不采集 rollout，也不托管分层 VLM 规划器 + VLA 控制器。若要数字可比较，请在导出上写明六条件划分。
评测维度
- Ideal类型赛道
静态、完全可观测的家务序列。长时程规划的对照条件。
- Memory Exploration类型赛道
主动探查场景（柜内物品、隐藏物体）以建立内部表征。
- Memory Execution类型赛道
去掉感知线索后，策略必须回忆先前观测才能完成目标。
- Random Disturbance类型赛道
episode 中途出现意外物体位移或掉落。属 Dynamic Scene 组。
- Observation Mismatching类型赛道
观测与指令或先前信念不一致，规划器必须更新。
- Mix类型赛道
同一 episode 同时包含记忆要求与动态场景变化。
数据组成
- 规模
NeurIPS 2025 长时程家务操作，建立在 LIBERO 栈上。官方发布：100 个任务变体、1000 条人工标注轨迹（平均 9.1 个原子步；轨迹约 3000 仿真步）。发表评测为 600 次 rollout（60 任务 × 10 次），并用锚点对齐 System-1 / System-2 交接。
- 来源
github.com
- 划分
eval
- 模态
language · vision · action · state
- 许可证
upstream_terms
- 说明
WorldFoundry 导入官方 rollout 导出。仓内不跑捆绑的 LIBERO 模拟器，也不跑分层 VLM+VLA 栈。
指标
指标
- 方向越高越好
success_rate导入 rollout 上的 episode 成功率。官方表还会按六种子任务类型分列。
主指标Success Rate
- 方向越高越好
task_success导出写明任务时的按任务成功率。
- 方向越高越好
episode_success逐 episode 成功指示的聚合值。
- 方向越高越好
reward导出包含时的平均 episode 奖励 / 回报。
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文中的规划器 / VLM 基线。 RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation (2025).
| 模型 | 成功率（SR） |
|---|---|
| GPT-4o | 16.04 |
| GPT-4o-Blind | 15.10 |
| LLaVA-Next-Video-7B | 11.37 |
| Qwen2.5-VL-7B | 11.19 |
| Qwen2.5-VL-7B-SFT | 9.33 |
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id robocerebra \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/robocerebra/official-validation \
--json可选 WORLDFOUNDRY_ROBOCEREBRA_ROOT 指向本地评测 / runtime 根目录。默认导入路径：WORLDFOUNDRY_ROBOCEREBRA_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/robocerebra.yaml。产物：scorecard.json（主键 success_rate）、raw_results.jsonl、evaluation/summary.json。