PhyFPS-Bench-Gen

最后更新: 2026年10月7日

本页内容

PhyFPS-Bench-Gen（TACO Group，德州农工大学）审计时间刻度幻觉：生成器声明的容器帧率（Meta FPS）是否与运动隐含的物理速度（PhyFPS，由 Visual Chronometer 预测）一致。它不是定律、锚定、教育或续写评测。

套件是 100 条 prompt。输出命名为 0001.mp4 … 0100.mp4。预测器在滑动窗口上运行（--stride、--clip-length）；scorecard 报告 Meta 与 PhyFPS 的误差，以及视频内 / 视频间变异系数。全部指标越低越好。

代码：taco-group/Visual_Chronometer。权重：xiangbog/Visual_Chronometer（vc_common_10_60fps.ckpt）。

WorldFoundry 在仓内运行 Visual Chronometer predict.py，和/或归一化调用方的 results.csv。对齐指标需要 WORLDFOUNDRY_PHYFPS_META_FPS（或 manifest）。

评测维度

时间刻度 FPS 审计
类型任务
生成器声明的 Meta FPS 是否与运动隐含的 PhyFPS（Visual Chronometer）一致？不是物理定律或常识生成评测。
Meta 对 PhyFPS
类型轴
avg_error_fps 与 pct_error 需要 WORLDFOUNDRY_PHYFPS_META_FPS（或 manifest）。
FPS 稳定性
类型轴
滑动窗口 PhyFPS 的视频内 / 视频间变异系数。

数据组成

规模
100 条 prompt；每条生成一个视频，命名 0001.mp4 … 0100.mp4。WorldFoundry 在仓内运行 Visual Chronometer predict.py（或导入 results.csv）。VC-Common 权重：xiangbog/Visual_Chronometer。
来源
github.com · xiangbog/Visual_Chronometer
模态
text · video
说明
全部指标越低越好。没有 Meta FPS 时对齐指标无定义。

指标

avg_error_fps
方向越低越好
Meta FPS 与平均 PhyFPS 的平均绝对差。
pct_error
方向越低越好
Meta 与 PhyFPS 相对误差百分比的均值。
inter_video_cv
方向越低越好
逐视频平均 PhyFPS 的跨视频变异系数。
intra_video_cv
方向越低越好
滑动窗口上视频内变异系数的均值。
phyfps_bench_gen_average
方向越低越好
可用 PhyFPS-Bench-Gen 族的均值（越低越好）。
主指标PhyFPS-Bench-Gen Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。表 1 的 Avg. Error 列。作者另有投稿榜，收录时还没有公开行。 The Pulse of Motion: Measuring Physical Frame Rate from Visual Dynamics (2026).

模型	相对 Meta FPS 的平均误差（越低越好）
Wan2.1-T2V-1.3B	7.54
Seedance-1.0-Liteclosed	8.31
Sora-2closed	8.40
Kling-o3closed	9.10
Seedance-1.5-Proclosed	10.67
Wan2.2-T2V-A14B	10.74
Wan2.1-T2V-14B	10.87
Wan2.2-TI2V-5B	11.63

如何运行

导入已有的 results.csv：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id phyfps-bench-gen \
  --mode official-validation \
  --official-results-path <results.csv> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/phyfps-bench-gen/official-validation \
  --json

在仓内预测 PhyFPS（对齐需要 VC-Common 权重与 Meta FPS）：

export WORLDFOUNDRY_PHYFPS_META_FPS=24
${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/phyfps_bench_gen/run_phyfps_bench_gen_official_runner.py \
  --run-official \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --stride 4 \
  --output-dir tmp/phyfps_bench_gen/official \
  --json

产物包括 scorecard.json（主键 phyfps_bench_gen_average）与 results.csv。

← 返回 Benchmark Hub

PhyFPS-Bench-Gen

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面