WorldArena

WorldArena（清华 FIB Lab）从两个轴评具身世界模型。主键 ewm_score 汇总具身世界模型表面。本目录 id 是 worldarena。

• 感知 — 视觉质量、运动质量、内容一致性、物理遵守、3D 精度、可控性、人体质量。
• 功能 — 作为数据引擎（data_engine_success）、策略评估器（policy_evaluator_correlation）、动作规划器（action_planner_success）的效用。

论文：WorldArena。项目：world-arena.ai。代码：tsinghua-fib-lab/WorldArena。

WorldFoundry 接入官方视频质量指标 runtime（runners/worldarena/runtime/video_quality），可一次评一个 --dimension（目录有界示例：action_following）。一个真实已准备数据的 PSNR 组件已验证。完整 Track 1 与具身赛道未验证。 功能效用指标需要视频质量 runtime 之外的具身任务证据。

评测维度

• 感知质量

  类型轴

  视觉、运动、一致性、物理、3D、可控、人体质量。

• 功能效用

  类型轴

  数据引擎、策略评估器、动作规划器。

数据组成

• 规模

  清华 FIB Lab 具身世界模型评测。主键 ewm_score。

• 来源

  github.com

• 模态

  text · video · action

• 说明

  一个真实已准备数据的 PSNR 组件已验证。完整 Track 1 与具身赛道未验证。

指标

指标

• visual_quality

  方向越高越好

  生成具身视频的感知视觉质量。

• motion_quality

  方向越高越好

  运动质量与平滑度维度。

• content_consistency

  方向越高越好

  rollout 全程的内容一致性。

• physics_adherence

  方向越高越好

  生成动态的物理合理性。

• three_d_accuracy

  方向越高越好

  生成场景的 3D 结构准确性。

• controllability

  方向越高越好

  对条件/动作控制的遵循程度。

• data_engine_success

  方向越高越好

  作为下游策略合成数据引擎的效用。

• policy_evaluator_correlation

  方向越高越好

  模型内策略评估与真实 rollout 结果的相关性。

• action_planner_success

  方向越高越好

  世界模型充当动作规划器时的任务成功率。

• human_quality

  方向越高越好

  人体主体生成质量维度。

• ewm_score

  方向越高越好

  具身世界模型主聚合分。

  主指标Ewm Score

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 Hugging Face Space（WorldArena）.

如何运行

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/worldarena/run_worldarena_official_runner.py \
  --run-official \
  --dimension action_following \
  --config-path <worldarena_config.yaml> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/worldarena/official \
  --json

真值比较用 --gt-data-dir / --action-gt-data-dir。权重从 --ckpt-root 解析。--official-results-path 导入已有结果文件。环境变量：WORLDFOUNDRY_WORLDARENA_RESULTS_PATH、WORLDFOUNDRY_WORLDARENA_ROOT。合同条目不要求 Hugging Face 数据集。

仓内指针：worldfoundry/data/benchmarks/tasks/external/worldarena.yaml，worldfoundry/evaluation/tasks/execution/runners/worldarena。

产物包括 scorecard.json（主键 ewm_score）。

← 返回 Benchmark Hub