LIBERO-Pro
LIBERO-PRO（华中科技大学，联合哈佛、MIT、武汉理工与 Lehigh）不是新的终身学习套件，也不是 LIBERO-Plus 的 10,030 实例因子网格。它是叠在原始 LIBERO 任务上的即插即用层。论点是：原版 LIBERO 的训练 / 评测几乎是同一场景，所以 90%+ 可能是轨迹回放。PRO 施加合理扰动，再问策略是否仍把指令接地。
论文图 6 的五类：
- 物体属性 — 颜色、纹理、尺度；语义目标不变。
- 初始构型 — 仍物理可行的摆放。很小的位置偏移就会让许多 VLA 归零。
- 指令 — 同一目标的改写。
- 任务重设计 — 新的物体集合或组合目标。这类不与另外四类混用。
- 环境 — 背景、光照、纹理；可行性不变。
另外四类可以组合。官方评测与原版 LIBERO 一致：每任务 50 个 episode。论文报告干净 LIBERO 上超过 90% 的模型在泛化 PRO 设置下塌到 0%——这是上游结论，不是 Hub 行。
论文：LIBERO-PRO。项目：LIBERO-PRO 主页。代码：Zxy-MLlab/LIBERO-PRO（MIT）。数据集：zhouxueyang/LIBERO-Pro。
WorldFoundry 只导入官方结果。你在上游跑该叠加层，再经 official-validation 归一化导出。仓内不跑 robosuite。基础 LIBERO 可以接线闭环；本页不行。
评测维度
- 物体属性类型轴
改变颜色、纹理或尺度，语义目标保持不变。
- 初始构型类型轴
物体绝对 / 相对摆放，仍保持物理可行。位置偏移是许多 VLA 崩掉的地方。
- 指令类型轴
同一目标的语义改写。不是 LIBERO-Para 的 4,092 类网格。
- 任务重设计类型轴
新的物体集合或目标，仍可执行。不参与跨类型组合。
- 环境类型轴
背景、光照或纹理上下文，不改变任务可行性。
数据组成
- 规模
叠在原始 LIBERO 套件上的即插即用层。五类扰动（物体、构型、指令、任务、环境）；任务重设计不与另外四类混用。官方数据：zhouxueyang/LIBERO-Pro。协议：每任务 50 个 episode，与原版 LIBERO 一致。
- 来源
zhouxueyang/LIBERO-Pro · github.com
- 划分
object · configuration · instruction · task · environment
- 模态
language · vision · action · state
- 许可证
mit
- 说明
论文报告原版 LIBERO 上 90%+ 的分数在泛化 PRO 设置下塌到 0%。那是上游结论，不是 WorldFoundry 榜单。
指标
指标
- 方向越高越好
success_rate在指定 PRO 扰动（或组合）上的 episode 成功率，从官方评测器导入。
主指标Success Rate
- 方向越高越好
task_success在声明扰动下，按套件或任务（Spatial / Object / Goal / LIBERO-10）的成功率。
- 方向越高越好
episode_success当导出列出逐条 rollout 时的逐 episode 成功指示。
- 方向越高越好
action_accuracy若官方导出包含该字段，则为相对参考动作的离线预测准确率。
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文原始划分。LIBERO-PRO 的任务/位置扰动下这些模型降至 0.00。 LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization (2025).
| 模型 | LIBERO-Goal 原始成功率 |
|---|---|
| OpenVLA | 0.98 |
| π0.5 | 0.97 |
| π0 | 0.92 |
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id libero-pro \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/libero-pro/official-validation \
--json可选 WORLDFOUNDRY_LIBERO_PRO_ROOT 指向 Zxy-MLlab/LIBERO-PRO 检出。默认导入路径：WORLDFOUNDRY_LIBERO_PRO_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/libero-pro.yaml。输出：scorecard.json（主键 success_rate）、raw_results.jsonl、evaluation/summary.json。