PhyGround

本页内容

PhyGround(美国东北大学)是准则锚定,不是实拍续写,也不是 PhyGenEval。250 条文本+图像转视频 prompt 各带预期物理结果,以及 13 条定律分类(固体、流体、光学)中适用的 2–4 条。Judge(PhyJudge-9B 或人工)按 1–5 分评语义符合、物理时序有效性、持久性与各适用定律。这更像量表,而不是 Physics-IQ 的 mask IoU。

PhyGenBench 是 T2V 生成常识套件(160 条 / 27 条定律 / PhyGenEval)。PhyGround 是 TI2V 定律准则打分(250 条 / 13 条定律)。

论文:PhyGround。项目:phyground.github.io。代码:NU-World-Model-Embodied-AI/PhyGround。数据:NU-World-Model-Embodied-AI/phyground。

WorldFoundry 导入 PhyJudge/vLLM 或云端 judge 的 scores.json。它不对候选视频执行 PhyJudge-9B。

论文官方 Teaser:生成式世界模型中的物理定律违规。
论文官方 Teaser:生成式世界模型中的物理定律违规。

评测维度

  • 准则锚定的 TI2V
    类型任务

    文本+图像转视频 prompt,附带预期物理结果与 2–4 条适用定律。视频按准则 1–5 分评定——不是与实拍未来做像素对齐。

  • 固体力学
    类型类别

    13 条定律分类中,适用固体力学定律的领域分。

  • 流体动力学
    类型类别

    适用流体动力学定律的领域分。

  • 光学
    类型类别

    适用光学定律的领域分。

数据组成

  • 规模

    250 条文本+图像转视频 prompt,覆盖 13 条定律分类(固体、流体、光学)。WorldFoundry 导入 PhyJudge/人工 scores.json;不运行 PhyJudge-9B。

  • 来源

    NU-World-Model-Embodied-AI/phyground · github.com

  • 模态

    image · text · video

  • 说明

    Judge 输出在 annotations/ 或 --official-results-path。文件含多个模型 id 时用 --result-model-id。

指标

指标

  • semantic_adherence
    方向越高越好

    与 prompt 的 1–5 语义对齐,再归一化。

  • physical_temporal_validity
    方向越高越好

    生成事件的 1–5 物理时序有效性。

  • persistence
    方向越高越好

    片段中物体/状态持久性的 1–5 分。

  • solid_body_score
    方向越高越好

    该视频适用固体力学定律的聚合分。

  • fluid_dynamics_score
    方向越高越好

    适用流体动力学定律的聚合分。

  • optics_score
    方向越高越好

    适用光学定律的聚合分。

  • phyground_overall
    方向越高越好

    通用维度与领域分之后的导入总分。

    主指标PhyGround Overall

Leaderboard

论文报告结果(非实时榜;不是 WorldFoundry 跑分)。 PhyGround: Benchmarking Physical Reasoning in Generative World Models (2026).

模型总体(1–5 人工)
Wan2.2-27B-A14B3.28
Veo-3.1closed3.28
OmniWeaving3.10
Cosmos-14B2.91
LTX-2.3-22B2.69
Wan2.2-TI2V-5B2.63
Cosmos-2B2.58
LTX-2-19B2.56

如何运行

就位数据根(prompts/、first_images/、annotations/、videos/<model_id>/)并导入 judge 输出:

hf download NU-World-Model-Embodied-AI/phyground --repo-type dataset --local-dir <phyground_data_root>

worldfoundry-eval zoo benchmark-run \
  --benchmark-id phyground \
  --mode official-validation \
  --benchmark-data-root <phyground_data_root> \
  --generated-artifact-dir <phyground_data_root>/videos/<model_id> \
  --result-model-id <model_id> \
  --output-dir tmp/phyground/official-validation \
  --json

也可把 --official-results-path 指到 scores.json / annotations/。--prompt-manifest 可校验 prompt 覆盖。产物包括 scorecard.json(主键 phyground_overall)。

← 返回 Benchmark Hub