WorldFoundry
English中文

WBench

编辑此页GitHubMarkdown

本页内容
评测维度数据组成指标Leaderboard如何运行

WBench（美团 LongCat）评的是 多轮交互视频世界模型，五个轴汇总为 wbench_average：

  • 质量 — 美学、成像、闪烁、动态、平滑、HPSv3
  • 设定 — 场景 / 主体遵守
  • 交互 — 导航轨迹、事件编辑、主体动作、视角切换
  • 一致性 — 背景、片段连续、视角、主体、几何 / 光度重建、空间（含 gated）
  • 物理 — 视觉合理性、因果忠实

论文：WBench。项目：meituan-longcat.github.io/WBench。代码：meituan-longcat/WBench。数据：meituan-longcat/WBench。权重：meituan-longcat/WBench-weights。

WorldFoundry 检入指标 runtime（HPSv3、TransNetV2、PAVRM、DreamSim、MegaSAM 位姿预计算）。真实单视频 temporal_flickering 组件已验证；289 例多轮协议未验证。--official-results-path 导入 report.json 或分指标目录。

论文官方 Teaser：WBench 的多轮世界生成评测轴。
论文官方 Teaser：WBench 的多轮世界生成评测轴。

评测维度

  • 质量
    类型轴

    美学、成像、闪烁、动态、平滑、HPSv3。

  • 设定
    类型轴

    场景与主体遵守。

  • 交互
    类型轴

    导航、事件编辑、主体动作、视角切换。

  • 一致性
    类型轴

    背景、片段、视角、主体、几何/光度、空间。

  • 物理
    类型轴

    视觉合理性与因果忠实。

数据组成

  • 规模

    美团 LongCat 多轮视频世界模型评测。五轴 28 个指标。数据 meituan-longcat/WBench；权重 meituan-longcat/WBench-weights。官方协议引用 289 例。

  • 来源

    meituan-longcat/WBench · meituan-longcat/WBench-examples · github.com

  • 模态

    text · video · action

  • 说明

    真实单视频 temporal_flickering 组件已验证。289 例多轮协议未验证。

指标

指标

  • aesthetic_quality
    方向越高越好

    官方 WBench 美学质量得分。

  • imaging_quality
    方向越高越好

    官方 WBench 成像质量得分。

  • temporal_flickering
    方向越高越好

    官方 WBench 时序闪烁得分。

  • dynamic_degree
    方向越高越好

    官方 WBench 动态度得分。

  • motion_smoothness
    方向越高越好

    官方 WBench 运动平滑度得分。

  • hpsv3_quality
    方向越高越好

    官方 WBench HPSv3 质量得分。

  • scene_adherence
    方向越高越好

    官方 WBench 场景遵循得分。

  • subject_adherence
    方向越高越好

    官方 WBench 主体遵循得分。

  • navigation_trajectory
    方向越高越好

    官方 WBench 导航轨迹得分。

  • event_edit_adherence
    方向越高越好

    官方 WBench 事件编辑遵循得分。

  • subject_action_adherence
    方向越高越好

    官方 WBench 主体动作遵循得分。

  • perspective_switch_adherence
    方向越高越好

    官方 WBench 视角切换遵循得分。

  • background_consistency
    方向越高越好

    官方 WBench 背景一致性得分。

  • segment_continuity
    方向越高越好

    官方 WBench 片段连续性得分。

  • perspective_consistency
    方向越高越好

    官方 WBench 透视一致性得分。

  • subject_consistency
    方向越高越好

    官方 WBench 跨模型主体一致性得分。

  • geometric_consistency
    方向越高越好

    官方 WBench 几何重建一致性得分。

  • photometric_consistency
    方向越高越好

    官方 WBench 光度重建一致性得分。

  • spatial_consistency
    方向越高越好

    官方 WBench 空间一致性得分。

  • gated_spatial_consistency
    方向越高越好

    官方 WBench 门控空间一致性得分。

  • visual_plausibility
    方向越高越好

    官方 WBench 视觉合理性得分。

  • causal_fidelity
    方向越高越好

    官方 WBench 因果保真得分。

  • quality_score
    方向越高越好

    WBench quality（质量）维度平均分。

  • setting_score
    方向越高越好

    WBench setting adherence（设定遵循）维度平均分。

  • interaction_score
    方向越高越好

    WBench interaction（交互）维度平均分。

  • consistency_score
    方向越高越好

    WBench consistency（一致性）维度平均分。

  • physical_score
    方向越高越好

    WBench physical（物理）维度平均分。

  • wbench_average
    方向越高越好

    可用官方维度上的 WBench 平均分。

    主指标WBench Average

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 meituan-longcat.github.io/WBench.

meituan-longcat.github.io · 实时打开实时榜

如何运行

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/wbench/run_wbench_official_runner.py \
  --run-official \
  --model-name <model_name> \
  --phase gpu \
  --metrics temporal_flickering \
  --dataset-root <WBench_dataset> \
  --generated-artifact-dir <one_officially_named_generated_video> \
  --output-dir tmp/wbench/flicker \
  --json

只有视频真正遵循该官方多轮接口时才传 --submission-protocol text_multi_turn|camera_conditioned|action_conditioned。环境变量：WORLDFOUNDRY_WBENCH_RESULTS_PATH、WORLDFOUNDRY_WBENCH_ROOT。共享栈：video_world_perception_stack。

仓内指针：worldfoundry/data/benchmarks/tasks/external/wbench.yaml，worldfoundry/evaluation/tasks/execution/runners/wbench。

产物包括 scorecard.json（主键 wbench_average）。

← 返回 Benchmark Hub

相关页面

概览Benchmark Hub指标Scorer 与质量环境配置CLI本地资产