Benchmark Hub

这个 Hub 是配方索引，不是排行榜站。每张卡片来自 benchmark catalog 与 task manifest：套件测什么、需要哪些文件、WorldFoundry 哪条路径是真的（官方导入、仓内打分，或闭环）。它不会编造排名。详情页在有作者维护的实时榜时链出去，否则引用论文表或如实写明缺失。

74 benchmarks·目录数据来自仓库 manifest

按 benchmark、指标、领域或别名搜索…

全部74具身 AI22视频生成33世界模型19

74 个 benchmark

状态全部状态已有验证证据已接入仅归一化规划中阻塞评审方式全部评审方式本地 / 无 API托管 API排序按就绪度按名称 A–Z

ChronoMagic-Benchchronomagic-bench仓内 official runtime 对生成视频逐 prompt 评分；部分维度可能调用 hosted API官方 runtime已有验证证据EvalCrafterevalcrafter仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已有验证证据FETVfetv仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已有验证证据PAWBenchpawbench评估视频世界模型重复 rollout 的概率校准与结果覆盖率Judge runtime已有验证证据Physical AI Bench (PAI-Bench)physical-ai-bench仓内多赛道 evaluator 评估 generation 与 conditional-generation 生成视频In Tree Multi Track Evaluator已有验证证据SANA-WM 80-Scene Benchmarksana-wm-bench仓内 80 场景评测器，评估分钟级相机可控世界模型视频In Tree Composite Evaluator已有验证证据T2V-CompBencht2v-compbench仓内 official runtime 对生成视频逐 prompt 评分；部分维度可能调用 hosted API官方 runtime已有验证证据VBenchvbench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已有验证证据VBench-2.0vbench-2.0仓内 official runtime 对生成视频逐 prompt 评分；部分维度可能调用 hosted API官方 runtime已有验证证据VBench++vbench-plus-plus仓内 official runtime 对生成视频逐 prompt 评分；部分维度可能调用 hosted API官方 runtime已有验证证据Video-Benchvideo-bench仓内 official runtime 对生成视频逐 prompt 评分；部分维度可能调用 hosted API官方 runtime已有验证证据VideoScorevideoscore仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已有验证证据WorldBenchworldbench仓内 evaluator 按 task protocol 评估 artifact bundleIn Tree Model Backed Evaluator已有验证证据WorldModelBenchworldmodelbench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已有验证证据WorldOlympiadworldolympiad仓内 official 三项评测器对长视频世界模型打分官方 runtime已有验证证据WorldScoreworldscore仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已有验证证据4DWorldBench4dworldbench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入AI2-THORai2thor闭环仿真 rollout，或归一化官方 rollout 结果闭环仿真已接入AIGCBenchaigcbench导入预计算 metric 并归一化为 scorecardArtifact 导入已接入Apple-PIapple-pi仓内 evaluator 按 task protocol 评估 artifact bundle；部分维度可能调用 hosted APIIn Tree Model Backed已接入CameraBenchcamerabench仓内 official runtime 对生成视频逐 prompt 评分；部分维度可能调用 hosted API未记录已接入DEVIL Dynamicsdevil-dynamics仓内 official runtime 对生成视频逐 prompt 评分；部分维度可能调用 hosted API官方 runtime已接入EWMBenchewmbench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入GenAI-Benchgenai-bench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入HWHarnessEval-Wharnesseval-w官方 Python 评分覆盖六类世界状态转移与持久性任务，使用 VLM 裁判官方 runtime已接入IPV-Benchipv-bench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入iWorld-Benchiworld-bench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入LARYBenchlarybench仓内 official runtime 抽取 latent action 并以分类与回归探针评测官方 runtime已接入LikePhyslikephys在成对的有效 / 不可能片段上探测视频扩散模型的似然偏好官方 runtime已接入MemoBenchmemobench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入MINDmind评估交互式世界模型的记忆一致性与动作控制官方 runtime已接入MiraBenchmirabench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入PhyEduVideophyeduvideo导入预计算 metric 并归一化为 scorecardArtifact 导入已接入PhyFPS-Bench-Genphyfps-bench-gen仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入PhyGenBenchphygenbench导入预计算 metric 并归一化为 scorecardArtifact 导入已接入PhyGroundphyground导入预计算 metric 并归一化为 scorecardArtifact 导入已接入Physics-IQ Originalphysics-iq仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入Physics-IQ Verifiedphysics-iq-verified仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入PhysVidBenchphysvidbench导入预计算 metric 并归一化为 scorecardArtifact 导入已接入RBenchrbench在 VLM judge 与运动算子输出之上复现官方机器人图生视频聚合官方 runtime已接入STEVO-Benchstevo-bench仓内 official runtime 通过 hosted VLM judges 对生成视频评分Judge runtime已接入T2VSafetyBencht2v-safety-bench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入T2VWorldBencht2vworldbench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入VideoPhyvideophy仓内 judge / VLM 对生成视频逐 prompt 评分Judge runtime已接入VideoPhy2videophy2仓内 judge / VLM 对生成视频逐 prompt 评分Judge runtime已接入VideoScience-Benchvideoscience-bench仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入VideoVersevideoverse仓内 judge / VLM 对生成视频逐 prompt 评分；部分维度可能调用 hosted APIJudge runtime已接入Visual Chronometervisual-chronometer仓内 official runtime 对生成视频逐 prompt 评分官方 runtime已接入

显示更多 benchmark26

怎么选

先想清楚要检验的主张，再打开对应配方——不要先装独立环境。

• 终身 / 知识迁移操作 — LIBERO（Franka 桌面上的四个套件）。厨房相关看 RoboCasa。
• GPU 并行技能族 — ManiSkill（SAPIEN）。WorldFoundry 导入 rollout，不替代模拟器。
• 长时程语言链 — CALVIN（A/B/C → D，链长度 1–5 的成功率）。
• 真机到仿真的策略排序 — SimplerEnv（按真机标定的 Google Robot 与 WidowX/Bridge）。
• 带逻辑目标的家务活动 — BEHAVIOR-1K（OmniGibson 中 1000 项 BDDL 活动）。
• 视频模型会不会续写真实物理 — Physics-IQ（5 秒续写；仓内打分器）。只有当你要的就是那套协议时，才配 Physics-IQ Verified——媒体不可互换。
• 开源文生视频片段质量 / 组合 — VBench、T2V-CompBench、FETV。

安装 benchmark-specific package 前先看运行环境矩阵。它区分统一环境、仓库管理的独立环境、托管 judge，以及按维度划分的 native/checkpoint 栈。

每个配方记录什么

如何运行一个 Benchmark

先打开配方。Prompt 文件、generated-artifact 布局、checkpoint 名称、judge model 和 official result 格式都是 benchmark-specific 的。

导入 Official Result 文件

配方写明 WorldFoundry 归一化上游导出、不跑模拟器时用这条。

worldfoundry-eval zoo benchmark-run \
  --benchmark-id <benchmark-id> \
  --mode official-validation \
  --official-results-path <official-result-file-or-dir> \
  --generated-artifact-dir <generated-artifact-dir> \
  --output-dir tmp/<benchmark-id>/official-validation \
  --json

在仓内给生成产物打分

只有配方明确说仓内 runtime 能从 generated artifacts 重算分数，并且所需媒体或 checkpoint 已就位时，才用 official-run。常见例子是 Physics-IQ。

worldfoundry-eval zoo benchmark-run \
  --benchmark-id <benchmark-id> \
  --mode official-run \
  --generated-artifact-dir <generated-artifact-dir> \
  --output-dir tmp/<benchmark-id>/official-run \
  --json

需要先用已注册模型生成 artifact 时：

worldfoundry-eval run \
  --benchmark <benchmark-id> \
  --model <model-id> \
  --mode official-run \
  --output-dir tmp/<benchmark-id>/<model-id> \
  --json