T2VWorldBench

最后更新: 2026年10月7日

本页内容

T2VWorldBench（圣何塞州立大学，联合 UC Berkeley、UW-Madison、UW 与桂林电子科大；WACV 2026）问的是文本生成视频模型能否用 世界知识 做事实生成。官方规模：6 大类、60 子类、1,200 条 prompt — 物理、自然、活动、文化、因果、物体知识。打分混合人工与 VLM。论文对 10 个前沿系统的评估发现，多数模型无法生成真正知识正确的视频。

公开的 eval.py 产出 quality、realism、relevance、consistency 四项 0–5 分，以及 final 0–20 分。六大知识类别描述的是 prompt 集；公开 CSV 没有单独的类别分。

论文：T2VWorldBench。代码：magiclinux/world_knowledge。Prompt CSV 已内置；完整元数据 / 样例视频在 Drive。

WorldFoundry 内置 runtime 源码并归一化官方结果文件。完整官方 VLM 评测仍需上游 LLaVA runtime 与已就位的 Drive 资产。

评测维度

数据组成

规模
WACV 2026 世界知识 T2V 评测：6 大类、60 子类、1200 条 prompt。Prompt CSV 已内置；完整元数据/样例视频在 Drive。
来源
github.com
模态
text · video
许可证
unknown_pending_review
说明
WorldFoundry 归一化官方结果字段。完整原始视频/VLM 评测（LLaVA + Drive 资产）仍待完成。

指标

quality
方向越高越好
官方 CSV 中的最低视觉质量分（0–5）。
realism
方向越高越好
官方 CSV 中的最低真实感分（0–5）。
relevance
方向越高越好
官方 CSV 中的最低提示词相关性分（0–5）。
consistency
方向越高越好
官方 CSV 中的最低时序一致性分（0–5）。
final
方向越高越好
官方 CSV 中的最低总分（0–20）。
主指标Final

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 T2VWorldBench: A Benchmark for Evaluating World Knowledge in Text-to-Video Generation (2025).

模型	平均分
Wan2.1	0.68
LTX Video	0.68
Kling1.6	0.67
Dreamina	0.67
Mochi-1	0.66
Sora	0.65
Hailuo	0.63
Pika2.2	0.60

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id t2vworldbench \
  --mode official-validation \
  --official-results-path <model_video_assessment_scores.csv> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/t2vworldbench/official-validation \
  --json

默认导入：WORLDFOUNDRY_T2VWORLDBENCH_RESULTS_PATH。可选根：WORLDFOUNDRY_T2VWORLDBENCH_ROOT。仓内 prompt：worldfoundry/data/benchmarks/assets/t2vworldbench/prompt/prompt.csv。

仓内指针：worldfoundry/data/benchmarks/tasks/external/t2vworldbench.yaml，worldfoundry/evaluation/tasks/execution/runners/t2vworldbench/runtime/t2vworldbench。

产物包括 scorecard.json（主键 final）与 raw_metric_table.jsonl。

← 返回 Benchmark Hub

T2VWorldBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面