IPV-Bench
IPV-Bench（Impossible Videos；新加坡国立大学 Show Lab）把常见物理问题反过来问：模型能否 描绘 反事实、物理上不可能的事件，以及视频理解模型能否 识别 它们。分类覆盖物理、生物、地理与社会不可能性。两条赛道：
- 生成（IPV-Txt） — 视觉质量与 prompt 跟随；
impossible_video_score是同时高质量且忠实 prompt 的片段比例。 - 理解（IPV-Vid） — 判断、多选 QA、开放 QA，对照官方标签。
ipv_bench_average 汇总你提供的官方分面。
论文：Impossible Videos。代码：showlab/Impossible-Videos。
WorldFoundry 归一化两条赛道的官方 CSV/JSON 导出。仓内不跑官方 judge 或理解模型。--run-fixture 只是接线。
评测维度
- IPV-Txt 生成类型赛道
视觉质量与 prompt 跟随；impossible_video_score 是同时高质量且忠实 prompt 的比例。
- IPV-Vid 理解类型赛道
判断、多选 QA、开放 QA，对照官方标签。
数据组成
- 规模
NUS Show Lab Impossible Videos：生成并识别物理、生物、地理与社会上不可能的事件。两条赛道（IPV-Txt / IPV-Vid）。
- 来源
github.com
- 模态
text · video
- 说明
WorldFoundry 归一化官方 CSV/JSON。不跑官方裁判或理解模型。
指标
指标
- 方向越高越好
visual_qualityIPV-Bench 生成视频视觉质量的人工或官方 judge 标注。
- 方向越高越好
prompt_followingIPV-Bench prompt 遵循度的人工或官方 judge 标注。
- 方向越高越好
impossible_video_scoreIPV-Bench 协议下同时满足高质量与良好 prompt 遵循的生成视频占比。
- 方向越高越好
judgement_accuracyIPV-Bench 视频理解判断任务相对官方标签的准确率。
- 方向越高越好
mcqa_accuracyIPV-Bench 多选 QA 相对官方标签的准确率。
- 方向越高越好
open_qa_scoreIPV-Bench 开放式 QA 得分（来自官方 evaluator 或 judge 输出）。
- 方向越高越好
ipv_bench_average由官方标注、judge 输出或归一化结果文件提供的 IPV-Bench 聚合分。
主指标IPV-Bench Average
Leaderboard
论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 Impossible Videos (2025).
| 模型 | IPV 分数 |
|---|---|
| Mochi 1 | 37.3 |
| Pyramid-Flow | 19.6 |
| CogVideoX-1.5 | 16.9 |
| Open-Sora | 15.8 |
| LTX | 10.0 |
如何运行
worldfoundry-eval zoo benchmark-run \
--benchmark-id ipv-bench \
--mode official-validation \
--official-results-path <official_results.csv> \
--generated-artifact-dir <generated_videos> \
--output-dir tmp/ipv-bench/official-validation \
--json默认导入：WORLDFOUNDRY_IPV_BENCH_RESULTS_PATH。可选根 / 后端：WORLDFOUNDRY_IPV_BENCH_ROOT、WORLDFOUNDRY_IPV_BENCH_RUNTIME_BACKEND。合同条目不要求 Hugging Face 数据集。
仓内指针：worldfoundry/data/benchmarks/tasks/external/ipv-bench.yaml，worldfoundry/evaluation/tasks/execution/runners/ipv_bench。
产物包括 scorecard.json（主键 ipv_bench_average）与 raw_metric_table.jsonl。