VideoPhy2

VideoPhy2（UCLA 与 Google DeepMind）是 VideoPhy 的 动作向 后继。Prompt 套件聚焦更难的物理活动与物体交互（宣称 200 个动作）。AutoEval 增加 规则级 判断：哪些物理规则适用、每条是遵守还是违反（rule_followed_rate），同时报语义遵守、物理常识，以及主键 联合分。

论文：VideoPhy-2。项目：videophy2.github.io。代码：Hritikbansal/videophy。

WorldFoundry 捆绑 prompt 列表 并驱动仓内 AutoEval 裁判（--autoeval-checkpoint，可选 --autoeval-lora-checkpoint）。官方打分路径存在；完整 200 条 prompt 复现仍待完成。权重要调用方提供。

评测维度

• 动作向 prompt

  类型套件

  更难的物理活动与物体交互；目录宣称 200 个动作。

• 规则级 AutoEval

  类型轴

  哪些物理规则适用、每条是否遵守（rule_followed_rate）。

数据组成

• 规模

  VideoPhy 的动作向后继。宣称 200 个动作。AutoEval 增加规则级判断，以及 SA/PC/Joint。官方打分路径存在；完整 200 prompt 复现仍待完成。

• 来源

  videophysics/videophy2_test · videophysics/videophy2_train · github.com

• 模态

  text · video

• 许可证

  MIT

• 说明

  AutoEval 基座与可选 LoRA 权重要调用方提供。

指标

指标

• semantic_adherence

  方向越高越好

  Semantic Adherence（语义符合度）归一化基准分。

• physical_commonsense

  方向越高越好

  Physical Commonsense（物理常识）归一化基准分。

• joint_score

  方向越高越好

  Joint Score（联合分）归一化基准分。

  主指标Joint Score

• rule_followed_rate

  方向越高越好

  判定适用的物理规则中被遵守（而非违反）的比例。

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 videophy2.github.io.

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id videophy2 \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/videophy2/official-validation \
  --json

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/videophy2/run_videophy2_official_runner.py \
  --run-official \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --autoeval-checkpoint /path/to/videophy2_autoeval \
  --output-dir tmp/videophy2/official \
  --json

环境变量：WORLDFOUNDRY_VIDEOPHY2_RESULTS_PATH、WORLDFOUNDRY_VIDEOPHY2_JUDGE_BACKEND。Prompt 列表：worldfoundry/data/benchmarks/assets/videophy2/prompts.json。共享资源：videophy2_dataset_assets。

仓内指针：worldfoundry/data/benchmarks/tasks/external/videophy2.yaml，worldfoundry/evaluation/tasks/execution/runners/videophy2。

产物包括 scorecard.json（主键 joint_score）。

← 返回 Benchmark Hub