LIBERO-Plus
LIBERO-Plus（CVPR 2026，复旦 / FudanNLP）是叠在原始 LIBERO Spatial / Object / Goal / Long 任务上的仅评测鲁棒性层，不是第五个终身学习套件。作者用受控扰动生成 10,030 个实例，覆盖 七 个因子（21 个子维）：
- 物体布局 — 目标位移、干扰物（1,525）。
- 相机视角 — 位姿与视场（1,599）。
- 机器人初始状态 — 起始位姿（1,550）。
- 语言指令 — LLM 改写（1,537）。
- 光照 — 强度、方向、颜色、阴影（1,142）。
- 背景纹理 — 场景 / 表面外观（1,076）。
- 传感器噪声 — 光度退化（1,601）。
实例按四个参考模型做成几个，分成 L1–L5（L1 = 四个都能做，L5 = 四个都不能）。论文对十个 VLA 的扫描报告：干净 LIBERO 约 95%，在不大的相机或初始状态扰动下掉到 30% 以下——这是上游结论，不是 Hub 分数。
论文：LIBERO-Plus。项目：sylvestf.github.io/LIBERO-plus。代码：sylvestf/LIBERO-plus（MIT；可替换的 libero fork）。
WorldFoundry 只导入官方结果。你在上游跑该 fork，再经 official-validation 归一化导出。仓内不跑 robosuite，也不带 Plus 资产。基础 LIBERO 可以接线闭环；本页不行。
评测维度
- 物体布局类型轴
目标位移与干扰物体（1,525 个实例）。
- 相机视角类型轴
相机位置、朝向与视场（1,599 个实例）。
- 机器人初始状态类型轴
机械臂起始位姿变化（1,550 个实例）。
- 语言指令类型轴
LLM 改写的任务措辞（1,537 个实例）。仍是视觉/物理扰动套件，不是 LIBERO-Para。
- 光照类型轴
强度、方向、颜色与阴影（1,142 个实例）。
- 背景纹理类型轴
场景与表面外观（1,076 个实例）。
- 传感器噪声类型轴
光度失真与图像退化（1,601 个实例）。
- 难度 L1–L5类型赛道
由四个参考模型划分的经验箱：L1 四个都能做，L5 四个都不能。
数据组成
- 规模
在原始 LIBERO Spatial / Object / Goal / Long 任务上生成的 10,030 个仅评测扰动实例。7 个因子、21 个子维、五个难度级。官方资产：sylvestf/LIBERO-plus（可替换的 libero fork）。
- 来源
github.com
- 划分
spatial · object · goal · long · l1 · l2 · l3 · l4 · l5
- 模态
language · vision · action · state
- 许可证
mit
- 说明
论文对十个模型的分析报告：在不大的相机 / 初始状态扰动下，成功率从约 95% 降到 30% 以下。那是上游结论，不是 WorldFoundry 榜单。
指标
指标
- 方向越高越好
success_rate扰动实例上的 episode 成功率，从官方 LIBERO-Plus 评测器导入。
主指标Success Rate
- 方向越高越好
task_successSpatial / Object / Goal / Long 格子上的逐任务或逐因子成功率。
- 方向越高越好
episode_success当导出列出逐条 rollout 时的逐 episode 成功指示。
- 方向越高越好
action_accuracy若官方导出包含该字段，则为相对参考动作的离线预测准确率。
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models (2025).
| 模型 | 总分成功率（%） |
|---|---|
| OpenVLA-OFT+paper “Ours” | 79.5 |
| OpenVLA-OFT | 69.6 |
| RIPT-VLA | 68.4 |
| OpenVLA-OFT_m | 67.9 |
| π0-Fast | 61.6 |
| π0 | 53.6 |
| NORA | 39.0 |
| OpenVLA | 15.6 |
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id libero-plus \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/libero-plus/official-validation \
--json可选 WORLDFOUNDRY_LIBERO_PLUS_ROOT 指向 sylvestf/LIBERO-plus 检出。默认导入路径：WORLDFOUNDRY_LIBERO_PLUS_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/libero-plus.yaml。输出：scorecard.json（主键 success_rate）、raw_results.jsonl、evaluation/summary.json。