VideoVerse

VideoVerse（OPPO 研究院，联合中山大学与香港理工）问的是文本生成视频离 世界模型 还有多远。官方规模：300 条 prompt，每条拆成有序事件，并带跨越 十个维度 的二元评测问题。分面包括 QA 准确率、事件覆盖、时间因果、世界知识一致性、静态 / 动态场景一致性。打分把检测到的事件顺序做 事件 LCS，再加逐题核验。

论文：VideoVerse。项目：naptmn.cn/Homepage_of_VideoVerse。代码：Zeqing-Wang/VideoVerse。许可证：Apache-2.0。

WorldFoundry 在仓内跑裁判（默认 Gemini，或 URL / 本地 VLM），并用官方事件 LCS / 核验逻辑归一化 eval_res.json。Prompt 清单已捆绑。--strict 强制标准 300 prompt 套件。官方路径已接入；带凭证的完整套件 未 做发布级验证。

评测维度

• 事件分解 prompt

  类型套件

  300 条 prompt 拆成有序事件，带十维二元 QA。

数据组成

• 规模

  OPPO 300 prompt 世界模型 T2V 评测。事件 LCS 加逐题核验。Prompt 清单已捆绑。Apache-2.0。

• 来源

  NNaptmn/VideoVerse · github.com

• 模态

  text · video

• 许可证

  Apache-2.0

• 说明

  WorldFoundry 可跑 Gemini/URL/本地 VLM 裁判。官方路径已接入；带凭证的完整套件未做发布级验证。

指标

指标

• qa_accuracy

  方向越高越好

  VideoVerse 二元/问答判定准确率。

• event_coverage

  方向越高越好

  必需事件的覆盖率。

• temporal_causality

  方向越高越好

  时序因果一致性得分。

• world_knowledge_consistency

  方向越高越好

  世界知识一致性得分。

• static_scene_consistency

  方向越高越好

  静态场景一致性得分。

• dynamic_event_consistency

  方向越高越好

  动态事件一致性得分。

• videoverse_average

  方向越高越好

  可用 VideoVerse 得分族的均值。

  主指标VideoVerse Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文表 1 总分。Sora-2 因安全审核缺 4 条视频。 VideoVerse: Does Your T2V Generator Have World Model Capability to Synthesize Videos? (2025).

模型	总分（Gemini 2.5 Pro 评判）
Sora-24 videos missing	1299
Veo-3	1292
Minimax-Hailuo	1203
Wan2.2-A14B	1085
OpenSora2.0	989
Wan2.1-14B	969
SkyReels-V2 (L)	968
Hunyuan	898

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id videoverse \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/videoverse/official-validation \
  --json

--run-official 对照捆绑的 prompts_of_VideoVerse.json / 分解版给生成视频打分（GEMINI_API_KEY 或 WORLDFOUNDRY_VIDEOVERSE_GEMINI_API_KEY）。只有非标准资产才用 --prompt-manifest。默认导入：WORLDFOUNDRY_VIDEOVERSE_RESULTS_PATH。共享资源：videoverse_dataset_assets。

仓内指针：worldfoundry/data/benchmarks/tasks/external/videoverse.yaml，worldfoundry/data/benchmarks/assets/videoverse/prompt/。

产物包括 scorecard.json（主键 videoverse_average）、eval_res.json、judge_responses.jsonl。

← 返回 Benchmark Hub