PhyGenBench

最后更新: 2026年10月7日

本页内容

PhyGenBench（上海人工智能实验室 / OpenGVLab）问的是文生视频生成器是否遵守物理常识。它提供 160 条 prompt，声称覆盖力学、光学、热学、材料四大领域的 27 条定律。上游打分是 PhyGenEval：VQAScore、GPT-4o/LLaVA 风格顺序校验、InternVideo2 自然度，再交给 overall.py。

这是生成 + 分层 judge，不是 PhyGround（TI2V 定律准则 1–5），不是 PhysVidBench（字幕 QA），也不是 Physics-IQ（实拍续写）。

论文：PhyGenBench。项目：phygenbench123.github.io。代码：OpenGVLab/PhyGenBench。

WorldFoundry 捆绑 prompts.json 与 PhyGenEval overall.py。它导入官方结果文件，或对已准备好的 stage 输出跑有界 overall.py。它不运行 VQAScore、GPT-4o/LLaVA 或 InternVideo2。

论文官方 Teaser：T2V 模型在 PhyGenBench 的 44 个物理常识侧面中的失败样例。

评测维度

T2V 物理常识
类型任务
文生视频由 PhyGenEval（VQAScore、顺序校验、自然度）打分。不是实拍续写，也不是 PhyGround 的定律准则 judge。
物理常识
类型轴
生成运动是否遵守 prompt 中的物理现象。
物理定律遵循
类型轴
声称覆盖 27 条定律套件（力学、光学、热学、材料）的目录轴。

数据组成

规模
160 条捆绑 T2V prompt，声称覆盖四大领域的 27 条物理定律。WorldFoundry 提供 prompts.json 与 PhyGenEval overall.py；各阶段 judge（VQAScore、GPT-4o/LLaVA、InternVideo2）不在仓内运行。
来源
github.com
模态
text · video
说明
仅支持结果导入或已备 stage 的 overall.py 聚合。仅有聚合不是官方 PhyGenEval 证据。

指标

physical_commonsense
方向越高越好
从 stage 输出导入或聚合的 PhyGenEval 物理常识对齐。
physical_law_adherence
方向越高越好
导入结果文件提供时的定律遵循族。
semantic_adherence
方向越高越好
生成视频与 prompt 的语义对齐。
phygenbench_average
方向越高越好
导入或聚合表面上可用 PhyGenBench 族的均值。
主指标PhyGenBench Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 Towards World Simulator: Crafting Physical Commonsense-Based Benchmark for Video Generation (2024).

模型	PhyGenEval 平均
Gen-3	0.51
Kling	0.49
Vchitect 2.0	0.45
CogVideoX 5B	0.45
Open-Sora V1.2	0.44
Pika	0.44
CogVideoX 2B	0.39
Lavie	0.36

如何运行

导入官方结果导出：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id phygenbench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/phygenbench/official-validation \
  --json

用仓内 overall.py 聚合已备 stage 输出（不能替代完整 judge 栈）：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/phygenbench/run_phygenbench_official_runner.py \
  --run-official \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/phygenbench/official \
  --json

产物包括 scorecard.json（主键 phygenbench_average）。

← 返回 Benchmark Hub

PhyGenBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面