Physical AI Bench (PAI-Bench)

最后更新: 2026年10月7日

本页内容

评测维度数据组成指标 Leaderboard 如何运行仓内赛道与 sidecar

PAI-Bench（SHI Labs / Georgia Tech，联合 CMU 与 NVIDIA Research；CVPR 2026）是多赛道 Physical AI 套件：在生成视频上做感知与控制保真，不是 PhyGenBench 那种定律 prompt 集，也不是 Physics-IQ 那种实拍续写。

WorldFoundry 仓内 evaluator 只实现两条赛道：

PAI-Bench-G（--track generation）：VBench / VBench++ 风格感知指标加 VQA。数据集：shi-labs/physical-ai-bench-generation。
PAI-Bench-C（--track conditional-generation）：控制保真（Canny、深度 si-RMSE、分割、模糊 SSIM、LPIPS 多样性）。数据集：shi-labs/physical-ai-bench-conditional-generation（约 273 GB）。

论文可能还有其他赛道。那些不在本 contract——不要传 --track understanding。contract 也没有指定单一主指标；不要把 aesthetic_quality 当成官方总分。

论文：PAI-Bench。代码：SHI-Labs/physical-ai-bench。

论文官方 Teaser：PAI-Bench 面向 Physical AI 的生成与理解赛道。

评测维度

PAI-Bench-G
类型赛道
视频生成赛道：VBench/VBench++ 风格感知指标加 VQA。需要 --generated-video-dir 与 shi-labs/physical-ai-bench-generation。
PAI-Bench-C
类型赛道
条件生成赛道：控制保真（Canny、深度、分割、模糊、LPIPS 多样性）。数据集很大（约 273 GB）。

数据组成

规模
WorldFoundry 仓内 evaluator 只覆盖两条赛道：generation（shi-labs/physical-ai-bench-generation）与 conditional-generation（shi-labs/physical-ai-bench-conditional-generation，约 273 GB）。论文可能还有其他赛道，不在本 contract。未收录官方 leaderboard。
来源
shi-labs/physical-ai-bench-generation · shi-labs/physical-ai-bench-conditional-generation · github.com
划分
generation · conditional-generation
模态
text · image · video
说明
contract 未指定单一主指标。生成与条件生成暴露不同指标族。本地 scorecard 不是 SHI-Labs leaderboard 提交。

指标

aesthetic_quality
方向越高越好
生成赛道的 VBench 风格美学质量。
background_consistency
方向越高越好
生成赛道的 VBench 风格背景一致性。
imaging_quality
方向越高越好
生成赛道的 VBench 风格成像质量。
motion_smoothness
方向越高越好
生成赛道的 VBench 风格运动平滑度。
overall_consistency
方向越高越好
生成赛道的 VBench 风格文本-视频一致性。
subject_consistency
方向越高越好
生成赛道的 VBench 风格主体身份一致性。
i2v_background
方向越高越好
生成赛道的 VBench++ 图生视频背景保持。
i2v_subject
方向越高越好
生成赛道的 VBench++ 图生视频主体保持。
vqa_accuracy
方向越高越好
生成赛道上物理合理性问题的 judge VQA 准确率。
dover_tech_score
方向越高越好
条件赛道的 DOVER 技术质量。
blur_ssim
方向越高越好
条件赛道相对模糊条件的 SSIM。
canny_f1_score
方向越高越好
条件赛道 Canny 边缘相对条件的 F1。
canny_precision
方向越高越好
条件赛道 Canny 相对条件的精确率。
canny_recall
方向越高越好
条件赛道 Canny 相对条件的召回率。
depth_si_rmse
方向越低越好
条件赛道相对条件深度的尺度不变 RMSE。越低越好。
seg_m_iou
方向越高越好
条件赛道相对条件分割的平均 IoU。
seg_recall
方向越高越好
条件赛道对条件分割的召回率。
lpips_diversity
方向越高越好
条件赛道同一条件下多次生成的 LPIPS 多样性。

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 PAI-Bench: A Comprehensive Benchmark For Physical AI (2025).

模型	领域总分
Veo3proprietary	82.2
HunyuanVideo-I2V	77.6
MAGI-1-4.5B	77.5
LTX-Video-2B	77.5
DynamicCrafter	68.3

如何运行

对已就位数据与生成视频评 generation 赛道：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/physical_ai_bench/run_physical_ai_bench_official_runner.py \
  --run-official \
  --track generation \
  --dataset-root "${WORLDFOUNDRY_PHYSICAL_AI_BENCH_DATASET_ROOT}" \
  --generated-video-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/physical_ai_bench/generation \
  --json

条件生成赛道（按需传权重或预测目录）：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  -m worldfoundry.evaluation.tasks.execution.runners.physical_ai_bench.run_physical_ai_bench_official_runner \
  --run-official \
  --track conditional-generation \
  --dataset-root "${WORLDFOUNDRY_PHYSICAL_AI_BENCH_DATASET_ROOT}" \
  --generated-video-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/physical_ai_bench/conditional \
  --json

--metrics 可限定开发用指标族。生成赛道 VQA 需要预测 manifest 或已配置的 Qwen 兼容 judge（--judge-backend、--judge-model、--judge-base-url）。产物包括 scorecard.json 与 official_results.json。

仓内赛道与 sidecar

这是只做推理的集成，不会 clone / import 上游仓库或其 third_party。prompt、评测设置与出处在 worldfoundry/data/benchmarks/assets/physical-ai-bench（故意没有 SOURCE.json）。

Generation 复用仓内 VBench / VBench++ I2V runtime。示例指标：aesthetic_quality、background_consistency、imaging_quality、motion_smoothness、overall_consistency、subject_consistency。二值物理 VQA 接受预测 manifest 或 Qwen 视频裁判。
Conditional-generation 在本地实现已发表的 CPU 迁移指标，并复用共享的 DOVER、LPIPS、Video-Depth-Anything、GroundingDINO、SAM2。预计算 sidecar：--pred-depth-dir（.npy）、--pred-segmentation-dir（JSON）。官方数据集 pickle 只有显式 --allow-trusted-pickle 才会加载；分割更推荐 JSON sidecar。

标准环境：worldfoundry-unified-cu128。结果归一化以及 CPU 上的 Canny / 模糊 / 深度 / 分割不需要第二套环境。走模型的指标需要对应的 WorldFoundry checkpoint。

PAI-Bench-G 的 Qwen2.5-VL-72B 二值 VQA 裁判通常要单独的多卡服务。塞不进 unified 进程时，起一个 vLLM OpenAI 兼容服务并传：

--judge-backend openai-compatible \
--judge-model Qwen/Qwen2.5-VL-72B-Instruct \
--judge-base-url http://localhost:8000/v1

那套环境只跑可选模型服务。评测代码与聚合仍在 unified WorldFoundry 进程里。

← 返回 Benchmark Hub