SANA-WM 80-Scene Benchmark

SANA-WM 80-Scene Benchmark 随 NVIDIA SANA 世界模型工作发布。两个划分（simple_60s、hard_60s）各 80 个场景：一张条件图加 961 帧、16 FPS 相机轨迹。世界模型必须按轨迹滚出 一分钟 视频。四个分面：

• VBench 风格质量 — 视觉 / 时间维度；主键 vbench_overall。
• 回访一致性 — 轨迹回到先前视点时的帧对 PSNR / SSIM / LPIPS。
• 相机位姿 — 相对目标轨迹的旋转误差（度）、相对平移误差、相对运动一致性。
• delta_iq — 时间窗口上的成像质量下降（长程漂移；越低越好）。

代码：NVlabs/Sana。数据：Efficient-Large-Model/SANA-WM-Bench（Apache-2.0）。

WorldFoundry 在仓内实现评测器。打分时复用已有 VBench 与 Pi3，不执行 NVlabs/Sana checkout。位姿推断是单独可调度的 GPU 阶段；只消费 eval_poses.json。

评测维度

• simple_60s

  类型划分

  80 个场景，961 帧 / 16 FPS 相机轨迹，一分钟 rollout。

• hard_60s

  类型划分

  80 个更难场景，同样 961 帧 / 16 FPS 协议。

数据组成

• 规模

  NVIDIA SANA-WM 80 场景世界模型评测。两个划分各 80 场景，961 帧 16 FPS 轨迹。分面：VBench 质量、回访一致性、相机位姿、delta_iq。Apache-2.0。

• 来源

  Efficient-Large-Model/SANA-WM-Bench · github.com

• 划分

  simple_60s · hard_60s

• 模态

  text · image · video · camera-trajectory

• 许可证

  Apache-2.0

• 说明

  WorldFoundry 自研评测器并复用已有 VBench/Pi3。尚未跑 80×2 数值对齐。位姿推断是单独 GPU 阶段。

指标

指标

• vbench_overall

  方向越高越好

  常驻 VBench 视觉/时序质量维度的均值。

  主指标VBench Overall

• vbench_total_score

  方向越高越好

  VBench total_score 诊断性聚合分。

• revisit_psnr

  方向越高越好

  轨迹回访先前视点时帧对间的 PSNR。

• revisit_ssim

  方向越高越好

  同一回访帧对间的 SSIM。

• revisit_lpips

  方向越低越好

  同一回访帧对间的 LPIPS。

• rot_err_deg

  方向越低越好

  相对目标轨迹的相机旋转误差（度）。

• trans_err_rel

  方向越低越好

  相对目标轨迹的相机平移相对误差。

• cam_mc_rel

  方向越低越好

  相机运动一致性相对误差。

• delta_iq

  方向越低越好

  跨时间窗口的成像质量衰减（长时程漂移）。

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 表 2 简单轨迹划分。分辨率不同（LingBot-World / Infinite-World / HY-WorldPlay 为 480p，其余为 720p）。 SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer (2026).

模型	VBench Overall（简单轨迹）
LingBot-World480p	81.82
SANA-WM + refiner	80.62
SANA-WM	79.29
Infinite-World480p	79.18
Matrix-Game 3.0	78.53
HY-WorldPlay480p	68.82

如何运行

hf download Efficient-Large-Model/SANA-WM-Bench --repo-type dataset \
  --local-dir "${WORLDFOUNDRY_SANA_WM_BENCH_DATASET_ROOT}"

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/sana_wm_bench/run_sana_wm_bench_official_runner.py \
  --run-official \
  --dataset-root "${WORLDFOUNDRY_SANA_WM_BENCH_DATASET_ROOT}" \
  --generated-video-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --split simple_60s \
  --metrics vbench,revisit,temporal \
  --output-dir tmp/sana_wm_bench/official \
  --json

视频命名 <scene_id>_generated.mp4。--metrics 选择 vbench,revisit,temporal,camera。--max-pairs 限制回访对数；--revisit-lpips 加 LPIPS。相机指标需要 --pose-results-path / eval_poses.json（导入时把弧度转成度）。数据布局：images/<scene_id>.png、<split>/sanawm_export_v2/<scene_id>.npz、run_manifest.jsonl。

仓内指针：worldfoundry/data/benchmarks/tasks/external/sana-wm-bench.yaml。

产物包括 scorecard.json（主键 vbench_overall）与 raw_metric_table.jsonl。

← 返回 Benchmark Hub