CALVIN

CALVIN（Composing Actions from Language and Vision）是弗莱堡大学的长时程、语言条件操作评测（IEEE RA-L 2022）。策略在 PyBullet 桌面上必须串起最多五条语言指令。四个环境配置 A/B/C/D 测零样本迁移：标志性划分是在 A/B/C 上训练，在未见过的 D 上评测。论文报告的是每个链长度的成功率，以及平均完成的指令数，不是单一的 episode 成败比特。

论文：CALVIN（项目 calvin.cs.uni-freiburg.de）。代码：mees/calvin（MIT）。

WorldFoundry 是官方结果导入器。你在上游跑序列评测器，再归一化导出。模拟器、数据集根目录和策略权重遵循官方 CALVIN 文档。仓库镜像：cache/vla_va_wam/repos/mees--calvin。

评测维度

• 训练 ABC → 测试 D

  类型划分

  零样本迁移：在环境 A/B/C 上训练，在未见过的 D 上评测。

• 指令链长度 1–5

  类型轴

  官方协议报告每个链长度的成功率，以及平均完成的指令数。

数据组成

• 规模

  弗莱堡大学的长时程语言条件桌面（PyBullet）：最多五条语言指令串联，四个环境配置 A/B/C/D。

• 来源

  github.com

• 划分

  abc · d

• 模态

  language · vision · action · state

• 许可证

  mit

• 说明

  WorldFoundry 归一化官方长时程序列评测导出。数据集根目录与策略权重遵循 mees/calvin 文档。

指标

指标

• success_rate

  方向越高越好

  评测 rollout 上的主成功率（逐 episode 成功比例）。

  主指标Success Rate

• sequence_success

  方向越高越好

  五指令链的成功率（长时程协议）。

• task_success

  方向越高越好

  按任务聚合的成功率。

• completion

  方向越高越好

  每条序列平均完成的指令数。

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 calvin.cs.uni-freiburg.de.

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id calvin \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --output-dir tmp/calvin/official-validation \
  --json

默认导入路径：WORLDFOUNDRY_CALVIN_RESULTS_PATH。清单：worldfoundry/data/benchmarks/tasks/external/calvin.yaml。产物：scorecard.json（主键 success_rate；另有 sequence_success、completion）与 raw_results.jsonl。

← 返回 Benchmark Hub