Physics-IQ Original

Physics-IQ（Google DeepMind）问的是视频模型会不会续写真实物理，不是像素好不好看。每个测试项给出一段实拍场景，模型必须生成接下来的 5 秒。发表协议是 66 个场景 × 2 视角（396 项）。WorldFoundry 的 contract 跟踪 198 视频单次划分。打分把续写与真实未来对比：基于运动 mask 的 spatial / spatiotemporal 一致度，再加 MSE 惩罚，聚合为 physics_iq_score（官方 final_score_orig）。当前官方代码还会输出分量截断的 physics_iq_stable_score。

论文：Physics-IQ。项目：physics-iq.github.io。代码：google-deepmind/physics-IQ-benchmark。

和本 Hub 上那些操作导入器不同，WorldFoundry 仓内内置打分 runtime（run_physics_iq_official_runner.py，经 --protocol 与 physics-iq-verified 共享），并把 prompt/场景元数据放在 worldfoundry/data/benchmarks/assets/physics-iq。官方媒体（真实视频、mask、条件帧）仍要从 DeepMind 下载——不在仓库里。Physics-IQ Verified 用另一套数据；两者不可互换。

评测维度

• 固体力学

  类型类别

  真实拍摄场景中的刚性接触、碰撞与物体恒常性。

• 流体

  类型类别

  倾倒、飞溅等流体续写。

• 光学

  类型类别

  反射、折射与依赖光照的运动。

• 热力学

  类型类别

  融化、烟雾与热相关变化。

• 磁学

  类型类别

  官方集合中拍摄的磁吸 / 磁斥。

• 单次 198 视频划分

  类型划分

  WorldFoundry 跟踪 198 段 5 秒续写（发布协议为 66 场景 × 视角；论文常对多次运行取平均）。

数据组成

• 规模

  发表协议共 396 个测试项（66 个真实物理场景 × 2 视角）。WorldFoundry 仓内打分器跟踪 198 段 5 秒续写的单次划分。官方媒体（真实视频、mask、条件帧）需按 DeepMind 说明另行下载，不在本仓库分发。

• 来源

  github.com

• 模态

  image · video

• 说明

  原始参考视频与 mask 经 Google Cloud Storage 分发，在仓外准备；Physics-IQ Verified 的 Hugging Face 数据集不可互换。

指标

指标

• physics_iq_score

  方向越高越好

  原始全局聚合得分（官方 final_score_orig）。

  主指标Physics-IQ Score

• physics_iq_stable_score

  方向越高越好

  当前官方实现输出的分量截断稳定分。

• physics_iq_spatiotemporal

  方向越高越好

  时空 IoU：运动发生的位置与时间与真实续写的重合度。

• physics_iq_spatial

  方向越高越好

  空间 IoU：动作发生的位置（不考虑时间）。

• physics_iq_weighted_spatial

  方向越高越好

  加权空间 IoU：动作发生的位置与幅度。

• physics_iq_mse_penalty

  方向越低越好

  相对真实续写的逐像素 MSE 罚分。

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 physics-iq.github.io（与 DeepMind README 同步）.

如何运行

导入已有的 raw_metrics.csv：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id physics-iq \
  --mode official-validation \
  --official-results-path <raw_metrics.csv> \
  --output-dir tmp/physics-iq/official-validation \
  --json

从按官方 scenario id 命名的 198 段续写重算：

export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/physics-iq/generated_videos
${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/physics_iq/run_physics_iq_official_runner.py \
  --protocol physics-iq \
  --run-official \
  --dataset-root /path/to/physics-iq-benchmark \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/physics-iq/official-run \
  --strict \
  --json

缺场景视频时 --strict 会失败。--generated-mask-dir 可提供预计算 mask；否则 mask 来自真实视频。产物包括 scorecard.json（主键 physics_iq_score）、raw_metrics.csv、official_metrics.json，以及来源提供时的逐样本行。

← 返回 Benchmark Hub