4DWorldBench

本页内容

4DWorldBench(中科大,联合浙大与北京中关村学院;CVPR 2026)评的是 3D/4D 世界生成器——图像转 3D/4D、视频转 4D、文本转 3D/4D——把各种条件模态映射到同一评测空间。四个轴汇总为 four_d_worldbench_average:

  • 感知质量 — CLIP-IQA、CLIP-aesthetic、FastVQA。
  • Condition-4D 对齐 — Keye-VL 是/否 judge 覆盖属性 / 关系 / 运动 / 事件 / 场景控制,外加 DROID-SLAM 相机误差(原始误差越低越好,再反向归一化)。
  • 物理真实感 — LLM 辅助物理推理。
  • 4D 一致性 — DROID-SLAM 重投影、VFIMamba 插帧、运动 QA、VGG 风格。

论文:4DWorldBench。项目:yeppp27.github.io/4DWorldBench.github.io。代码:yeppp27/4dworldbench_code。

WorldFoundry 仓内托管官方 runtime(run_four_d_worldbench_official_runner.py),按官方 schema 的数据集 JSON 一次评一个 --dimension。官方数据集下载尚未发布;需自行提供 JSON 与生成视频。

论文主图:4DWorldBench 面向 3D/4D 世界生成的统一评测框架。
论文主图:4DWorldBench 面向 3D/4D 世界生成的统一评测框架。

评测维度

  • 感知质量
    类型轴

    CLIP-IQA、CLIP-aesthetic、FastVQA。

  • Condition-4D 对齐
    类型轴

    属性、关系、运动、事件、场景与相机误差控制。

  • 物理真实感
    类型轴

    LLM 辅助的物理推理。

  • 4D 一致性
    类型轴

    视角、运动平滑、运动问答与风格一致性。

数据组成

  • 规模

    调用方提供的 Condition-to-4D JSON 与生成视频。官方数据集下载尚未发布。四个轴:感知质量、Condition-4D 对齐、物理真实感、4D 一致性。

  • 来源

    github.com

  • 模态

    text · image · video · generated-video

  • 说明

    WorldFoundry 托管官方 runtime,一次评一个维度。不编造 4DWorldBench 榜单。

指标

指标

  • perceptual_clip_iqa_metrics
    方向越高越好

    官方 4DWorldBench 帧级 CLIP-IQA 感知质量得分。

  • perceptual_clip_aesthetic_metrics
    方向越高越好

    官方 4DWorldBench CLIP-aesthetic 感知质量得分。

  • perceptual_fastvqa
    方向越高越好

    官方 4DWorldBench 时序视频质量得分。

  • alignment_attribute_control
    方向越高越好

    Keye-VL 是/否 judge:动态属性控制。

  • alignment_relationship_control
    方向越高越好

    Keye-VL 是/否 judge:动态空间关系控制。

  • alignment_motion_control
    方向越高越好

    Keye-VL 是/否 judge:运动顺序对齐。

  • alignment_event_control
    方向越高越好

    Keye-VL 是/否 judge:复杂情节/事件对齐。

  • alignment_scene_control
    方向越高越好

    Keye-VL 是/否 judge:复杂景观/场景对齐。

  • alignment_camera_error_metrics
    方向越低越好

    用于相机控制对齐的 DROID-SLAM 相机轨迹误差;原始误差越低越好,反向归一化。

  • physics_realism
    方向越高越好

    官方 LLM 辅助物理推理得分。

  • consistency_viewpoint
    方向越低越好

    用于多视角一致性的 DROID-SLAM 重投影误差;原始误差越低越好,反向归一化。

  • consistency_motion_smoothness
    方向越高越好

    VFIMamba 插帧一致性得分。

  • consistency_motion_qa
    方向越高越好

    Keye-VL 是/否 judge:运动一致性问题。

  • consistency_style
    方向越高越好

    VGG Gram 矩阵风格一致性得分。

  • perceptual_quality
    方向越高越好

    归一化感知质量组件均值。

  • condition_4d_alignment
    方向越高越好

    归一化 Condition-4D 对齐组件均值。

  • physical_realism_score
    方向越高越好

    归一化物理真实感组件。

  • four_d_consistency
    方向越高越好

    归一化 4D 一致性组件均值。

  • four_d_worldbench_average
    方向越高越好

    可用 4DWorldBench 组件的归一化均分。

    主指标4DWorldBench Average

Leaderboard

官方实时榜,嵌在本页。不是 WorldFoundry 跑分。 yeppp27.github.io/4DWorldBench.

yeppp27.github.io · 实时打开实时榜

如何运行

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/four_d_worldbench/run_four_d_worldbench_official_runner.py \
  --run-official \
  --dataset-json <dataset.json> \
  --model-name <model_name> \
  --dimension perceptual_clip_iqa_metrics \
  --generated-video-dir <generated_artifacts> \
  --output-dir tmp/4dworldbench/official \
  --json

依赖模型的维度会解析 WORLDFOUNDRY_4DWORLDBENCH_KEYE_MODEL、WORLDFOUNDRY_4DWORLDBENCH_DROID_CKPT、OPENAI_API_KEY。像素级维度不需要它们。共享栈:keye_vl、droid_slam、vfimamba、fastvqa。默认导入路径:WORLDFOUNDRY_4DWORLDBENCH_RESULTS_PATH。

仓内指针:worldfoundry/data/benchmarks/tasks/external/4dworldbench.yaml,worldfoundry/evaluation/tasks/execution/runners/four_d_worldbench。

产物包括 scorecard.json(主键 four_d_worldbench_average)与 raw_metric_table.jsonl。

← 返回 Benchmark Hub