Apple-PI

最后更新: 2026年10月7日

本页内容

Apple-π（南洋理工大学 S-Lab）问的是视频模型会不会按物理定律推理，不是像素好不好看。Orchard 是 400 段经典力学视频，覆盖 10 个标准任务（9 个单定律加 1 个多定律组合），来源含仿真、实验室自录与互联网片段。协议是在信息图标注的首帧上做 chain-of-frames：Perception（读物理量 / 定位物体）、Formulation（选定律 / 预测目标时刻状态）、Deduction（完整、符合定律的轨迹）。Perception 与 Formulation 各分文本与图形，共五个子赛道。官方评分是混合式：Gemini 评审加 SAM3 / MoGe / 轨迹重叠 / 速度误差。预测要求每个 case、每个子赛道三次独立 rollout；第 0 帧为条件帧。

论文：Apple-π。项目：21yrm.github.io/Apple-PI-homepage。代码：21yrm/Apple-PI（Apache-2.0）。格式：GT_FORMAT.md、PREDICTION_FORMAT.md。

WorldFoundry 仓内评测（run_apple_pi_official_runner.py）：读取上游布局的 GT 与预测目录。它不跑视频模型推理。也可以导入已完成的 Apple-PI 结果 JSON。apple_pi_average 是 WorldFoundry 对可用子赛道的均值，不是官方综合分。

评测维度

感知（文本）
类型赛道
从信息图标注的首帧读取物理量，以文本作答。
感知（图形）
类型赛道
在末帧上定位物体，不含文字标签。
建模（文本）
类型赛道
选择支配定律并写出公式。
建模（图形）
类型赛道
预测目标时刻状态（速度箭头与标注）。
演绎
类型赛道
生成完整、符合定律的轨迹。官方主子赛道。

数据组成

规模
Orchard：400 段经典力学视频（10 个标准任务；9 个单定律加 1 个多定律组合）。来源含仿真、实验室自录与互联网片段。协议要求每个 case、每个子赛道三次独立 rollout；第 0 帧为条件帧。文档中的 Hugging Face GT id 为 yaorunmao/Apple-PI-GT——本工作区不视为已公开。
来源
yaorunmao/Apple-PI-GT · github.com
模态
image · video · text
许可证
Apache-2.0
说明
源码仓库为 Apache-2.0。GT 是否公开遵循上游发布；WorldFoundry 不分发 Orchard 媒体或 Gemini 凭证。

指标

perception_text
方向越高越好
末帧文字标注产物得分。
perception_graphic
方向越高越好
末帧纯物体定位产物得分。
formulation_text
方向越高越好
支配定律与公式作答得分。
formulation_graphic
方向越高越好
目标时刻状态、速度箭头与标注得分。
deduction
方向越高越好
完整动力学轨迹得分：Gemini 主观评审加物理锚定客观指标（SAM3、MoGe、轨迹重叠、速度误差）。
主指标Deduction
apple_pi_average
方向越高越好
WorldFoundry 对可用子赛道均值的算术平均。不是 Apple-π 官方发布的综合分。

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。论文主表，含统一图像/视频模型。 Apple-π: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence (2026).

模型	轨道平均分
GPT Image 2unified	0.704
Nano Banana 2unified	0.699
Seedance 2.0	0.473
VBVR-Wan2.2	0.373
SenseNova-U1-8B-MoTunified	0.362
Veo 3.1	0.313
Wan2.2	0.267
HunyuanVideo-1.5	0.177

如何运行

对已就位的 GT 评测 deduction 子赛道（真实评审需要 Gemini key；SAM3 / MoGe-2 走现有 WorldFoundry 能力路径）：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/apple_pi/run_apple_pi_official_runner.py \
  --run-official \
  --gt-dir "${WORLDFOUNDRY_APPLE_PI_GT_DIR}" \
  --pred-dir "${WORLDFOUNDRY_APPLE_PI_PREDICTION_DIR}" \
  --subtrack deduction \
  --output-dir tmp/apple_pi/deduction \
  --json

导入已有结果文件：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id apple-pi \
  --mode official-validation \
  --official-results-path <apple_pi_results.json> \
  --output-dir tmp/apple-pi/official-validation \
  --json

--no-foundation-models 与 --judge-backend mock 只用于接线。环境变量：WORLDFOUNDRY_APPLE_PI_GT_DIR、WORLDFOUNDRY_APPLE_PI_PREDICTION_DIR、WORLDFOUNDRY_APPLE_PI_RESULTS_PATH、WORLDFOUNDRY_APPLE_PI_JUDGE_BACKEND、WORLDFOUNDRY_APPLE_PI_SAM3_CHECKPOINT、WORLDFOUNDRY_APPLE_PI_MOGE_CHECKPOINT。清单：worldfoundry/data/benchmarks/tasks/external/apple-pi.yaml。产物：scorecard.json（主键 deduction）、raw_metric_table.jsonl、per_sample_scores.jsonl、benchmark_contract.json。

← 返回 Benchmark Hub

Apple-PI

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面