RoboCasa
RoboCasa 是 UT Austin 与 NVIDIA 面向通才机器人的大规模厨房仿真：120 个真实厨房布局、2500+ 三维资产（不少由生成模型制作），大约 100 个原子技能加组合长时程活动，并带大规模演示。论文是 RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots。项目：robocasa.ai。代码：robocasa/robocasa。本 catalog 里 GitHub 许可元数据是 other:noassertion_github_api——复用前先读上游条款。
WorldFoundry 导入官方 rollout 导出。场景资产与长时程策略执行留在上游。仓库镜像：cache/vla_va_wam/repos/robocasa--robocasa。Being-H0.5 等模型发布了 RoboCasa 专家线；那不是本页上的分数。
评测维度
- 原子厨房技能类型套件
厨房场景中约 100 个原子操作技能。
- 组合长时程类型套件
把原子技能串成更长厨房活动的组合任务。
- 厨房场景类型轴
120 个真实厨房布局与 2500+ 三维资产（不少由生成模型制作）。
数据组成
- 规模
UT Austin 与 NVIDIA 的厨房仿真：120 个场景、2500+ 资产、100 个原子任务加组合长时程任务，并带面向通才策略的大规模演示。
- 来源
github.com
- 划分
kitchen · long_horizon
- 模态
language · vision · action · state
- 许可证
other:noassertion_github_api
- 说明
RoboCasa 使用模拟器资产与策略 rollout，而不是一张公开的 Hugging Face 评测表。
指标
指标
- 方向越高越好
success_rate评测 rollout 上的主成功率（逐 episode 成功比例）。
主指标Success Rate
- 方向越高越好
task_success按任务聚合的成功率。
- 方向越高越好
episode_success逐 episode 成功指示的聚合值。
- 方向越高越好
reward平均 episode 奖励 / 回报。
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 同一 BC 策略、论文中不同数据配比。 RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots (2024).
| 模型 | 平均成功率（24 个原子任务） |
|---|---|
| Generated-3000 | 0.476 |
| Generated-300 | 0.350 |
| Human-50 | 0.288 |
| Generated-100 | 0.263 |
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id robocasa \
--mode official-validation \
--official-results-path <official_results.json> \
--output-dir tmp/robocasa/official-validation \
--json默认导入路径：WORLDFOUNDRY_ROBOCASA_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/robocasa.yaml。导出时声明原子还是组合（以及场景划分）。产物：scorecard.json（主键 success_rate）与 raw_results.jsonl。