LIBERO-Mem

LIBERO-Mem（AAAI 2026）不是 Spatial / Object / Goal / LIBERO-100 那四个终身学习套件。FPT Software AI Center（联合阿肯色、斯图加特、CMU、奥尔堡与利物浦）在 LIBERO / robosuite 栈上新建了 10 个桌面任务，使策略无法只靠当前帧成功。线索在物体历史里：动过什么、做了几次、什么顺序，或被什么挡住。四条官方记忆轴：

• 物体运动 (OM) — 在歧义场景里回忆上一次抓 / 放。
• 物体序列 (OS) — 统计重复抓放次数（3× / 5× / 7×）。
• 物体关系 (OR) — 在相同碗盘间交换或轮转。
• 物体遮挡 (OO) — 记住哪个篮子藏了哪个物体。

每任务 120 条轨迹（100 训练 / 20 验证）、200–700 帧，带实例 ID、掩码与符号化子目标（→、∨）。官方计分报告任务成功与子目标完成。Embodied-SlotSSM 是作者的配套 VLA——模型卡片事实，不是 WorldFoundry 的榜单行。

论文：Rethinking Progression of Memory State in Robotic Manipulation。项目：libero-mem.github.io。代码：libero-mem/libero-mem。

WorldFoundry 只导入官方结果。你在上游跑评测器，再经 official-validation 把 JSON/CSV 归一化进 scorecard。仓内不跑模拟器，也不带 Embodied-SlotSSM 权重。这与可接线闭环的基础 LIBERO 不同。

评测维度

• 物体运动 (OM)

  类型轴

  当前帧存在歧义时，回忆上一次抓取或放置。

• 物体序列 (OS)

  类型轴

  统计视觉无法消歧的重复抓放次数（3× / 5× / 7×）。

• 物体关系 (OR)

  类型轴

  在相同碗盘间交换或轮转时跟踪时间顺序。

• 物体遮挡 (OO)

  类型轴

  物体离开视野后，记住哪个篮子藏了哪个物体。

数据组成

• 规模

  在 LIBERO / robosuite 栈上新建的 10 个非马尔可夫桌面任务（不是 Spatial / Object / Goal / 100）。每任务 120 条轨迹（100 训练 / 20 验证）、200–700 帧，带物体 ID、掩码与符号化子目标。

• 来源

  github.com

• 划分

  om · os · or · oo

• 模态

  language · vision · action · state

• 许可证

  upstream_terms

• 说明

  官方协议还用顺序（→）与或（∨）报告子目标完成率。WorldFoundry 只导入官方导出里已有的字段，不重算子目标。

指标

指标

• success_rate

  方向越高越好

  从官方评测器导入的整条指令 episode 成功率。

  主指标Success Rate

• memory_success_rate

  方向越高越好

  当导出包含该划分时，仅统计记忆关键实例的成功率。

• task_success

  方向越高越好

  10 个 OM/OS/OR/OO 任务上的逐任务成功率。

• action_accuracy

  方向越高越好

  若官方导出包含该字段，则为相对参考动作的离线预测准确率。

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文官方 LIBERO-Mem 长程套件。 Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective (2025).

模型	T1–T10 平均成功率
Naive SlotSSM	14.8%
π0 (h=1)	5.0%
SlotVLA (h=8)	5.0%
SlotVLA (h=1)	0%

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id libero-mem \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --output-dir tmp/libero-mem/official-validation \
  --json

可选 WORLDFOUNDRY_LIBERO_MEM_ROOT 指向本地工具包 / 仓库根。省略 --official-results-path 时，默认导入路径是 WORLDFOUNDRY_LIBERO_MEM_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/libero-mem.yaml。输出：scorecard.json（主键 success_rate；导出含该字段时还有 memory_success_rate）、raw_results.jsonl、evaluation/summary.json。

← 返回 Benchmark Hub