RoboMME
RoboMME（密歇根大学，联合斯坦福与 Figure AI；ICML 2026）是面向记忆增强 VLA 的标准化评测。16 个长时程任务分成四个认知套件——Counting（时间：精确计数）、Permanence（空间：遮挡与交换）、Reference（物体：依据先前线索解析身份）、Imitation（程序：复现演示轨迹）——各 4 个任务。官方发布含 1600 条演示与 77 万训练时间步，以及基于 π0.5 骨干的 14 个记忆增强变体。论文按套件报告成功率，不是单一抓放二值位。
论文：RoboMME。项目：robomme.github.io。代码：RoboMME/robomme_policy_learning。
WorldFoundry 导入官方 rollout 导出，并归一化总体与逐套件成功率。它不跑 RoboMME 模拟器或那些 π0.5 变体。请在导出上写明套件（counting / permanence / reference / imitation）。
评测维度
- Counting类型套件
时间记忆：累积事件并在精确次数后停止（4 个任务）。
- Permanence类型套件
空间记忆：在遮挡与交换中跟踪物体（4 个任务）。
- Reference类型套件
物体记忆：依据先前视觉或语言线索解析身份（4 个任务）。
- Imitation类型套件
程序记忆：复现演示轨迹（4 个任务）。
数据组成
- 规模
ICML 2026 记忆增强操作评测，来自密歇根、斯坦福与 Figure AI。16 个长时程任务（4 套件 × 4）、1600 条演示、77 万训练时间步。论文还发布了基于 π0.5 骨干的 14 个记忆增强 VLA 变体。面向依赖历史的 VLA 评测，不是单一抓放二值位。
- 来源
github.com
- 划分
counting · imitation · permanence · reference
- 模态
language · vision · action · state
- 许可证
upstream_terms
- 说明
WorldFoundry 从官方导出归一化逐套件成功率。仓内不跑 RoboMME 模拟器或 π0.5 变体。
指标
指标
- 方向越高越好
success_rate导入套件上的总体 episode 成功率。
主指标Success Rate
- 方向越高越好
counting_success_rateCounting 套件（时间记忆）成功率。
- 方向越高越好
permanence_success_ratePermanence 套件（空间记忆）成功率。
- 方向越高越好
reference_success_rateReference 套件（物体记忆）成功率。
- 方向越高越好
imitation_success_rateImitation 套件（程序记忆）成功率。
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文 AVG 列。Oracle 行使用特权记忆。 RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies (2026).
| 模型 | 平均成功率（16 个任务） |
|---|---|
| Human | 90.50 |
| MME-VLA GroundSG Oracleprivileged | 84.08 |
| MME-VLA SimpleSG Oracleprivileged | 49.58 |
| SimpleSG QwenVL | 29.00 |
| Gemini (SimpleSG Oracle setting) | 23.25 |
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id robomme \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/robomme/official-validation \
--json可选 WORLDFOUNDRY_ROBOMME_ROOT 指向本地 runtime / 仓库。默认导入路径：WORLDFOUNDRY_ROBOMME_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/robomme.yaml。产物：scorecard.json（主键 success_rate；另有 counting_success_rate、permanence_success_rate、reference_success_rate、imitation_success_rate）、raw_results.jsonl、evaluation/summary.json。