MiKASA-Robo
MiKASA-Robo 是 MIKASA（面向智能体的记忆密集技能评估套件）的桌面部分，来自 AIRI、MIPT 与 HSE。ICLR 2026 论文是 32 个 ManiSkill RL 任务、12 组、四类记忆：物体、空间、顺序、容量（遮挡回忆、先前布局、长动作顺序）。后续 MIKASA-Robo-VLA 扩展为 90 个语言条件任务（10 类记忆）、短 / 中 / 长时程（25–2160 步），以及 22500 条 oracle 轨迹。这两次发布不可互换。
论文：Memory, Benchmark & Robots（OpenReview）。VLA 文档：mikasarobo.github.io。代码：CognitiveAISystems/MIKASA-Robo。
WorldFoundry 导入官方结果导出。它不跑 ManiSkill、不采集 PPO/oracle 轨迹，也不替你选定 RL 还是 VLA——请在导出上声明。
评测维度
- 物体记忆类型类别
ICLR 2026 RL 套件：在部分可观测下记住物体身份。
- 空间记忆类型类别
定位被遮挡物体并回忆先前布局。
- 顺序记忆类型类别
在长时程上复现规定的动作顺序。
- 记忆容量类型类别
智能体必须保持多少先前信息才能成功。
- VLA 短 / 中 / 长时程类型划分
MIKASA-Robo-VLA 把 90 个语言条件任务分成三个时程划分（25–2160 步）。
数据组成
- 规模
AIRI / MIPT / HSE 的桌面记忆评测，基于 ManiSkill。ICLR 2026 论文：32 个 RL 任务、12 组、四类记忆。后续 VLA 发布扩展为 90 个语言条件任务（10 类记忆）与 22500 条 oracle 轨迹。WorldFoundry 不替你选定发布——在导出上声明 RL 还是 VLA。
- 来源
github.com
- 划分
eval
- 模态
language · vision · action · state
- 许可证
upstream_terms
- 说明
论文：arXiv:2502.10550（OpenReview 9cLPurIZMj）。WorldFoundry 只导入官方结果文件。
指标
指标
- 方向越高越好
success_rate导入 rollout 上的主成功率。
主指标Success Rate
- 方向越高越好
task_success按所指记忆组聚合的任务成功率。
- 方向越高越好
episode_success逐 episode 成功指示的聚合值。
- 方向越高越好
reward平均 episode 奖励 / 回报（VLA 发布含稠密奖励）。
Leaderboard
MIKASA 论文用表 1 列出 32 个记忆任务，PPO-MLP / PPO-LSTM 结果在学习曲线里（图 4–9），含 oracle 状态 100% 上限。没有可收录的方法×分数排名表，也没有作者维护的实时榜。 Memory, Benchmark & Robots (2025).
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id mikasa \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/mikasa/official-validation \
--json可选 WORLDFOUNDRY_MIKASA_ROOT 指向本地 runtime / 仓库。默认导入路径：WORLDFOUNDRY_MIKASA_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/mikasa.yaml。产物：scorecard.json（主键 success_rate）、raw_results.jsonl、evaluation/summary.json。