BridgeData V2

本页内容

BridgeData V2(加州大学伯克利分校 RAIL)是面向开放词表、多任务策略的真机操作数据集。官方数字:WidowX 250 六自由度、24 个环境、13 种技能、60096 条轨迹——其中 50365 条 VR 遥操作演示、9731 条脚本抓放。七个玩具厨房占主体,其余为桌面、水槽等。控制频率 5 Hz(平均约 38 步)。感知为 640×480:固定肩上 RGB-D、两个随机 RGB 视角、腕部相机。每条轨迹带语言标签;评测分语言条件(eval_lc)与目标图像条件(eval_gc)。

论文:BridgeData V2。项目:rail-berkeley.github.io/bridgedata。代码:rail-berkeley/bridge_data_v2(MIT)。官方媒体走 HTTP / 项目页下载,不是单一 Hugging Face 表。

WorldFoundry 导入策略评测导出(任务 / 目标成功率、离线动作准确率、rollout 成功率)。它不落地整套数据、不跑 WidowX 推理、也不执行真机 rollout。若需本地数据,就位在 ${WORLDFOUNDRY_DATA_DIR}/datasets/bridgedata-v2。

论文官方 Teaser:BridgeData V2 大规模真机操作数据集。
论文官方 Teaser:BridgeData V2 大规模真机操作数据集。

评测维度

  • 语言条件评测
    类型赛道

    WidowX 250 上的开放词表指令。官方 eval_lc 路径。

  • 目标图像条件评测
    类型赛道

    目标图像条件(官方 eval_gc)。与语言成功率分开。

  • 遥操作 vs 脚本抓放
    类型划分

    50365 条 VR 遥操作演示与 9731 条脚本抓放 rollout。

  • 13 种技能 / 24 个环境
    类型类别

    抓放、推、扫、堆叠、折叠等相关技能,覆盖玩具厨房、水槽与桌面。

数据组成

  • 规模

    UC Berkeley RAIL 真机集合:WidowX 250 六自由度、24 个环境、60096 条轨迹(7 个玩具厨房,外加桌面、水槽、洗衣等)。5 Hz,平均约 38 步,640×480 RGB-D / 腕部 / 随机第三人称视角,每条轨迹带语言标签。官方下载走 HTTP / 项目页,不是单一 Hugging Face 表。

  • 来源

    github.com

  • 划分

    eval

  • 模态

    language · vision · action · state · proprioception

  • 许可证

    MIT

  • 说明

    代码仓库为 MIT。数据就位遵循项目页 HTTP 发布。网上的 Hugging Face 副本是第三方转换。

指标

指标

  • success_rate
    方向越高越好

    导入的策略评测上的主任务成功率。

    主指标Success Rate

  • task_success
    方向越高越好

    按任务聚合的成功率。

  • goal_success
    方向越高越好

    目标图像条件下的任务成功率(eval_gc)。

  • action_accuracy
    方向越高越好

    相对参考动作的离线动作预测准确率。

  • rollout_success
    方向越高越好

    已执行真机或官方脚本 rollout 的成功率。

Leaderboard

论文报告结果(非实时榜;不是 WorldFoundry 跑分)。 论文在两个评测任务上比较 BridgeData V2 与 V1+PTR。 BridgeData V2: A Dataset for Robot Learning at Scale (2023).

模型平均成功率(论文报告的 2 个任务)
BridgeData V20.70
BridgeData V1 + PTR0.08

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id bridgedata-v2 \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --output-dir tmp/bridgedata-v2/official-validation \
  --json

默认导入路径:WORLDFOUNDRY_BRIDGEDATA_V2_RESULTS_PATH。清单:worldfoundry/data/benchmarks/tasks/external/bridgedata-v2.yaml。请在导出上声明语言 vs 目标图像(以及遥操作 vs 脚本)。产物:scorecard.json(主键 success_rate;另有 goal_success、action_accuracy、rollout_success)与 raw_results.jsonl。

← 返回 Benchmark Hub