VideoPhy

VideoPhy（UCLA 与 Google Research）检验文本生成视频模型在材料交互（固-固、固-流、流-流）上是否遵守 物理常识。每条 prompt 描述一种物理交互。官方裁判是微调的视频语言模型 VideoCon-Physics。三个分数：

• 语义遵守 — 片段是否匹配 prompt？
• 物理常识 — 运动是否服从物理？
• 联合分 — 两者同时成立。

videophy_average 是 WorldFoundry 对已有分面的均值。官方打分路径在仓内；完整 688 条 prompt 复现仍待完成。

论文：VideoPhy。项目：videophy.github.io。代码：Hritikbansal/videophy。

WorldFoundry 捆绑 prompt 列表，可跑仓内 VideoCon-Physics AutoEvaluator（--videocon-checkpoint、--sa-threshold / --pc-threshold），或导入官方 JSON。权重要调用方提供，不内置。

评测维度

• 语义遵守

  类型轴

  片段是否匹配物理交互 prompt？

• 物理常识

  类型轴

  固/流交互的运动是否服从物理？

• 联合分

  类型轴

  SA 与 PC 同时成立。

数据组成

• 规模

  UCLA / Google 的 T2V 物理常识评测。官方裁判：VideoCon-Physics。官方全套 688 条 prompt；仓内捆绑 prompt 列表。打分路径存在；完整复现仍待完成。

• 来源

  github.com

• 模态

  text · video

• 说明

  VideoCon-Physics 权重要调用方提供，不内置。

指标

指标

• semantic_adherence

  方向越高越好

  Semantic Adherence（语义符合度）归一化基准分。

• physical_commonsense

  方向越高越好

  Physical Commonsense（物理常识）归一化基准分。

• joint_score

  方向越高越好

  Joint Score（联合分）归一化基准分。

• videophy_average

  方向越高越好

  VideoPhy 平均分（归一化基准分）。

  主指标VideoPhy Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文总体语义符合×物理常识联合率。后续模型见 VideoPhy-2 实时榜。 VideoPhy: Evaluating Physical Commonsense for Video Generation (2024).

模型	总体 SA, PC（%）
CogVideoX-5B	39.6
Pika	19.7
VideoCrafter2	19.0
CogVideoX-2B	18.6
LaVIE	15.7
Dream Machine	13.6
Lumiere-T2I2V	12.5
ZeroScope	11.9

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id videophy \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/videophy/official-validation \
  --json

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/videophy/run_videophy_official_runner.py \
  --run-official \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --videocon-checkpoint /path/to/videocon_physics \
  --output-dir tmp/videophy/official \
  --json

环境变量：WORLDFOUNDRY_VIDEOPHY_RESULTS_PATH、WORLDFOUNDRY_VIDEOPHY_JUDGE_BACKEND。Prompt 列表：worldfoundry/data/benchmarks/assets/videophy/prompts.json。

仓内指针：worldfoundry/data/benchmarks/tasks/external/videophy.yaml，worldfoundry/evaluation/tasks/execution/runners/videophy。

产物包括 scorecard.json（主键 videophy_average）。

← 返回 Benchmark Hub