Physics-IQ Verified

最后更新: 2026年10月7日

本页内容

Physics-IQ Verified 是 DeepMind 续写协议的推荐修订版，由 Anates Labs 打包。Physics-IQ Original 的任务相同：把实拍场景续写 5 秒。数据集与分数适配器不同。Verified 提供修好的 prompt/mask 与 Hugging Face 媒体（Anates-Labs-Research/Physics-IQ-Verified），并在聚合前按视角打分（physics_iq_verified_score = 官方 final_score_view）。Original 用 GCS 媒体和全局 final_score_orig。不要混用。

论文：Physics-IQ Verified。项目：physics-iq-verified.anates.ai。共享引擎出处：google-deepmind/physics-IQ-benchmark。

WorldFoundry 仓内内置打分 runtime（run_physics_iq_official_runner.py --protocol verified），并把 prompt 元数据放在 worldfoundry/data/benchmarks/assets/physics-iq-verified。官方媒体（396 个参考视频 + 396 个 mask）仍要从 Hugging Face 下载——不在仓库里。单次运行覆盖 198 段续写；维护者建议 leaderboard 结论对四次运行取平均。

评测维度

Verified 协议
类型赛道
Anates Labs 对 Physics-IQ 的修订：verified prompts、verified masks、Hugging Face 媒体，以及逐视角聚合（final_score_view）。与 Original 不可互换。
单次 198 视频划分
类型划分
单次运行对 198 段 5 秒续写打分。预检要求 396 个参考视频与 396 个 mask。维护者建议 leaderboard 结论对四次运行取平均。
固体力学
类型类别
verified 实拍场景中的刚性接触、碰撞与物体恒常性。
流体
类型类别
倾倒、飞溅等流体续写。
光学
类型类别
反射、折射与依赖光照的运动。
热力学
类型类别
融化、烟雾与热相关变化。
磁学
类型类别
verified 集合中的磁吸 / 磁斥。

数据组成

规模
续写任务与 Physics-IQ Original 相同（实拍场景的 5 秒未来），但数据集与分数适配器不同。官方媒体在 Hugging Face Anates-Labs-Research/Physics-IQ-Verified（396 参考 + 396 mask）。WorldFoundry 跟踪 198 视频单次 contract，并在聚合前按视角打分。
来源
Anates-Labs-Research/Physics-IQ-Verified · github.com
模态
image · video
说明
不要把 Original 的 Google Cloud Storage 媒体混进 --protocol verified。physics_iq_verified_mse 是官方 score_mse_view（方差归一化后越高越好），不是 Original 的 physics_iq_mse_penalty。

指标

physics_iq_verified_score
方向越高越好
Verified 主聚合（官方 final_score_view）：按场景、按视角做物理方差归一化后的算术平均。
主指标Physics-IQ Verified Score
physics_iq_verified_spatiotemporal
方向越高越好
相对 verified 真实续写的逐视角时空 IoU（运动发生的位置与时间）。
physics_iq_verified_spatial
方向越高越好
逐视角空间 IoU：动作发生的位置（不考虑时间）。
physics_iq_verified_weighted_spatial
方向越高越好
逐视角加权空间 IoU：动作发生的位置与幅度。
physics_iq_verified_mse
方向越高越好
物理方差归一化后的官方 score_mse_view，越高越好。不是原始逐像素 MSE，也不是 Original 的 physics_iq_mse_penalty。

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 physics-iq-verified.anates.ai.

physics-iq-verified.anates.ai · 实时打开实时榜

如何运行

导入已有的 raw_metrics.csv：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id physics-iq-verified \
  --mode official-validation \
  --official-results-path <raw_metrics.csv> \
  --output-dir tmp/physics-iq-verified/official-validation \
  --json

从按官方 scenario id 命名的 198 段续写重算（--protocol 是 verified，不是 physics-iq-verified）：

hf download Anates-Labs-Research/Physics-IQ-Verified \
  --repo-type dataset \
  --local-dir /path/to/physics-iq-verified

export WORLDFOUNDRY_PHYSICS_IQ_VERIFIED_ROOT=/path/to/physics-iq-verified
export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/physics-iq-verified/generated_videos
${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/physics_iq/run_physics_iq_official_runner.py \
  --benchmark-id physics-iq-verified \
  --protocol verified \
  --run-official \
  --dataset-root "${WORLDFOUNDRY_PHYSICS_IQ_VERIFIED_ROOT}" \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/physics-iq-verified/official-run \
  --strict \
  --json

缺场景视频时 --strict 会失败。产物包括 scorecard.json（主键 physics_iq_verified_score）、raw_metrics.csv 与 official_metrics.json。physics_iq_verified_mse 是官方 score_mse_view（方差归一化后越高越好），不是 Original 的 physics_iq_mse_penalty。

← 返回 Benchmark Hub

Physics-IQ Verified

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面