Meta-World
Meta-World（CoRL 2019）是斯坦福、加州大学伯克利分校与南加州大学的多任务与元强化学习操作评测，现由 Farama Foundation 维护。Sawyer 臂在 MuJoCo 里要完成 50 个不同的桌面技能（reach、push、抽屉、装配……）。官方评测不是一个数字：你必须点名套件。
多任务（同一策略，共享训练）：
- MT1 — 一个技能。
- MT10 — 十个技能；报告平均成功。
- MT50 — 全部五十个。
元学习（适应留出任务 / 目标）：
- ML1 — 一个技能，目标留出。
- ML10 — 10 个元训练 / 5 个元测试技能。
- ML45 — 45 个元训练 / 5 个元测试技能。
常用成绩单是二值成功率，不是原始回报。论文：Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning。项目：meta-world.github.io。代码：Farama-Foundation/Metaworld（MIT）。
WorldFoundry 只导入官方结果。你在上游跑 Farama Metaworld / MuJoCo，再经 official-validation 归一化 JSON/CSV。仓内无模拟器。导出须声明 MT/ML 套件，否则行不可比。
评测维度
- MT1类型套件
单任务多任务控制：50 个 Sawyer 技能中的一个。
- MT10类型套件
10 任务多任务套件。报告十个技能的平均成功率。
- MT50类型套件
50 个桌面技能一起训练并评测。
- ML1类型套件
在单个技能上做元学习，目标留出。
- ML10类型套件
10 个元训练技能，5 个留出的元测试技能。
- ML45类型套件
45 个元训练技能，5 个留出的元测试技能。
数据组成
- 规模
Sawyer 臂上的 50 个不同 MuJoCo 桌面任务。官方多任务套件 MT1 / MT10 / MT50，元学习套件 ML1 / ML10 / ML45。由 Farama Foundation 维护（MIT）。
- 来源
github.com
- 划分
mt1 · mt10 · mt50 · ml1 · ml10 · ml45
- 模态
vision · action · state
- 许可证
mit
- 说明
WorldFoundry 归一化调用方提供的 JSON/CSV。导出须声明 MT/ML 套件，否则行不可比。
指标
指标
- 方向越高越好
success_rate在声明的 MT/ML 套件上平均的二值 episode 成功——Meta-World 的常用成绩单。
主指标Success Rate
- 方向越高越好
task_success声明套件中 50 个 Sawyer 技能上的逐技能成功率。
- 方向越高越好
reward若官方导出包含稠密奖励，则为平均 episode 回报。
- 方向越高越好
normalized_return当导出提供时，按官方逐任务范围缩放的回报。
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 原论文多任务 RL 基线（非实时榜）。 Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning (2019).
| 模型 | MT10 成功率 |
|---|---|
| Multi-task SAC | 68.3% |
| Multi-task TRPO | 31.3% |
| Multi-task PPO | 30.5% |
| Task embeddings | 20.9% |
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id metaworld \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/metaworld/official-validation \
--json省略 --official-results-path 时，默认导入路径是 WORLDFOUNDRY_METAWORLD_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/metaworld.yaml。输出：scorecard.json（主键 success_rate）与 raw_results.jsonl。