EWMBench

EWMBench（AgiBot / AgibotTech）评的是 AgiBot-World 生态里动作条件的机器人操作视频。这是世界模型质量评测，不是桌面操作成功率套件。四个分面汇总为 ewmbench_average：

• 场景一致性 — 工作空间是否保持稳定？
• 运动正确性 — 机械臂 / 物体轨迹是否匹配任务？
• 语义对齐 — 片段是否匹配语言指令？
• 多样性 — 生成 rollout 的多样性。

论文：EWMBench。数据 / 项目：agibot-world/EWMBench（CC-BY-NC-SA-4.0）。代码：AgibotTech/EWMBench。

WorldFoundry 内置 runtime 资源，并通过 benchmark-run 归一化官方结果文件。依赖就位时，--run-official 可调度上游 evaluate.py。检测器 / VLM 裁判资源仍在上游。

评测维度

• 场景一致性

  类型轴

  生成的操作视频里，工作空间是否保持稳定？

• 运动正确性

  类型轴

  机械臂 / 物体轨迹是否匹配请求的具身任务？

• 语义对齐

  类型轴

  视频是否匹配语言指令？

• 多样性

  类型轴

  具身世界模型生成 rollout 的多样性。

数据组成

• 规模

  AgiBot EWMBench：来自 AgiBot-World 生态的动作条件机器人操作视频，按场景、运动、语义与多样性打分。

• 来源

  agibot-world/EWMBench · github.com

• 模态

  text · action · video · frames

• 许可证

  cc-by-nc-sa-4.0

• 说明

  WorldFoundry 归一化官方结果文件。完整官方打分仍需要上游检测器 / VLM 资源。

指标

指标

• scene_consistency

  方向越高越好

  生成片段上工作空间是否稳定。

• motion_correctness

  方向越高越好

  机械臂 / 物体运动是否匹配任务。

• semantic_alignment

  方向越高越好

  生成视频与语言指令是否一致。

• diversity

  方向越高越好

  具身 rollout 的多样性。

• ewmbench_average

  方向越高越好

  场景、运动、语义与多样性四分齐备时的均值。

  主指标EWMBench average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文总分（场景 + 运动 + 语义）。 EWMBench: Evaluating Scene, Motion, and Semantic Quality in Embodied World Models (2025).

模型	总分
EnerVerse_FTdomain-finetuned	4.7010
LTX_FTdomain-finetuned	4.5493
Kling	3.8698
Hailuo	3.4125
COSMOS	3.2872
OpenSora	3.1392
LTX	2.9676

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id ewmbench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/ewmbench/official-validation \
  --json

--task-manifest 与 --config-path 绑定任务集和打分配置；--limit 限制接线运行。默认导入路径：WORLDFOUNDRY_EWMBENCH_RESULTS_PATH。可选根：WORLDFOUNDRY_EWMBENCH_ROOT。共享资源：ewmbench_dataset_assets。

仓内指针：

worldfoundry/data/benchmarks/tasks/external/ewmbench.yaml
worldfoundry/evaluation/tasks/execution/runners/ewmbench/runtime/ewmbench

产物包括 scorecard.json（主键 ewmbench_average）、benchmark_contract.json、raw_metric_table.jsonl。

← 返回 Benchmark Hub