VideoScience-Bench

最后更新: 2026年10月7日

本页内容

VideoScience-Bench（加州大学圣地亚哥分校 Hao AI Lab）问的是视频生成器是否 理解科学。Prompt 描述真实实验与现象。VLM 裁判按 1–4 量表 打五个维度；官方加权总分归一化到单位区间，即 videoscience_average：

Prompt 一致性
现象一致性 — 描绘的结果是否符合真实科学？
正确动态
不变性 — 不变量是否保持不变？
时空连贯

论文：VideoScience-Bench。空间：lmgame/videoscience-bench。代码：hao-ai-lab/VideoScience。目录发布状态：experimental。合同条目不要求 Hugging Face 数据集。

WorldFoundry 归一化官方结果文件，并在配置好提供方 / 模型 / 凭证时可对 experiments CSV 跑裁判。不声称已完成带凭证的完整上游运行。

评测维度

Prompt 一致性
类型轴
1–4 量表。
现象一致性
类型轴
描绘的结果是否符合真实科学？
正确动态
类型轴
1–4 量表。
不变性
类型轴
不变量是否保持不变？
时空连贯
类型轴
1–4 量表。

数据组成

规模
UCSD Hao AI Lab 科学理解 T2V 评测。五维 1–4 量表；官方加权总分归一化为 videoscience_average。目录状态：experimental。
来源
github.com
模态
text · video
说明
WorldFoundry 接好 VLM 裁判并归一化官方文件。不声称已完成带凭证的完整上游运行。

指标

prompt_consistency
方向越高越好
prompt 一致性（归一化基准分）。
phenomenon_congruency
方向越高越好
现象一致性（归一化基准分）。
correct_dynamism
方向越高越好
动态正确性（归一化基准分）。
immutability
方向越高越好
不变性（归一化基准分）。
spatio_temporal_coherence
方向越高越好
时空连贯性（归一化基准分）。
videoscience_average
方向越高越好
由 1-4 rubric 归一化到单位区间的官方加权总分。
主指标VideoScience Weighted Overall

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 Hugging Face Space（lmgame）.

huggingface.co · 实时打开实时榜

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id videoscience-bench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/videoscience-bench/official-validation \
  --json

运行时 CLI 接受 --experiments-csv、--evaluation-results-dir、可选 --reference-videos-dir，以及裁判标志（--judge-provider、--judge-model、--judge-max-runs、--max-frames、--judge-fps）。--ready-only 只评产物齐全的实验。默认导入：WORLDFOUNDRY_VIDEOSCIENCE_BENCH_RESULTS_PATH。

仓内指针：worldfoundry/data/benchmarks/tasks/external/videoscience-bench.yaml，worldfoundry/evaluation/tasks/execution/runners/videoscience_bench/runtime/videoscience_bench。

产物包括 scorecard.json（主键 videoscience_average）。

← 返回 Benchmark Hub

VideoScience-Bench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面