VideoScore

VideoScore（滑铁卢大学 TIGER-Lab）是 学出来的奖励模型，不是 prompt 套件。它在 VideoFeedback（3.76 万条人工标注视频） 上训练，对任意生成片段预测五个分面（官方 1–4 量表）：

• 视觉质量
• 时间一致性
• 动态程度
• 文本-视频对齐
• 事实一致性

videoscore_average 是五者均值。VideoScore-Bench 评估打分器与人类的相关（SPCC / 成对）。许可证：MIT（runtime）；数据集栈为 Apache-2.0 / MIT。

论文：VideoScore。项目：tiger-ai-lab.github.io/VideoScore。代码：TIGER-AI-Lab/VideoScore。Bench 数据：TIGER-Lab/VideoScore-Bench。

WorldFoundry 仓内内置 runtime，支持有界进程内 GPU 打分，并封装 benchmark/eval_videoscore.py。有界官方打分器 GPU 运行已验证；SPCC / 成对全套对齐未验证。

评测维度

• 五分面奖励模型

  类型轴

  视觉质量、时间一致性、动态程度、T2V 对齐、事实一致性，1–4 量表。

• VideoScore-Bench

  类型套件

  打分器与人类相关（SPCC / 成对），基于 VideoFeedback 风格行。

数据组成

• 规模

  TIGER-Lab 在 VideoFeedback（3.76 万条人工标注视频）上训练的奖励模型。不是 prompt 套件。runtime MIT；数据集栈 Apache-2.0/MIT。

• 来源

  TIGER-Lab/VideoFeedback · TIGER-Lab/VideoScore-Bench · github.com

• 许可证

  MIT

• 说明

  有界官方打分器 GPU 运行已验证。SPCC/成对全套对齐未验证。

指标

指标

• visual_quality

  方向越高越好

  VideoScore 视觉质量方面分（1-4 分制）。

• temporal_consistency

  方向越高越好

  VideoScore 时序一致性方面分（1-4 分制）。

• dynamic_degree

  方向越高越好

  VideoScore 动态度方面分（1-4 分制）。

• text_to_video_alignment

  方向越高越好

  VideoScore 文生视频对齐方面分（1-4 分制）。

• factual_consistency

  方向越高越好

  VideoScore 事实一致性方面分（1-4 分制）。

• videoscore_average

  方向越高越好

  五个 VideoScore 方面分的均值。

  主指标VideoScore Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 论文中的评判–人类相关，不是生成模型画质榜。 VideoScore: Building Automatic Metrics to Simulate Fine-grained Human Feedback for Video Generation (2024).

模型	Spearman 平均（×100）
VideoScore (gen)paper method	77.1
VideoScore (reg)paper method	75.7
GPT-4o	23.0
Gemini-1.5-Flash	20.8
Gemini-1.5-Pro	16.9

如何运行

hf download TIGER-Lab/VideoScore-Bench --repo-type dataset --local-dir /path/to/VideoScore-Bench
export WORLDFOUNDRY_VIDEOFEEDBACK_DATASET_ROOT=/path/to/VideoScore-Bench

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/videoscore/run_videoscore_official_runner.py \
  --bench-name video_feedback \
  --bounded-sample-count 4 \
  --dataset-root "${WORLDFOUNDRY_VIDEOFEEDBACK_DATASET_ROOT}" \
  --output-dir tmp/videoscore/bounded \
  --json

通过 --official-results-path / --from-upstream-results 导入上游 eval_*_videoscore.json。环境变量：WORLDFOUNDRY_VIDEOSCORE_MODEL_DIR、WORLDFOUNDRY_VIDEOSCORE_FRAMES_DIR、WORLDFOUNDRY_VIDEOSCORE_ROOT。共享栈：videoscore_reward_metric_stack。

仓内指针：worldfoundry/data/benchmarks/tasks/external/videoscore.yaml，worldfoundry/evaluation/tasks/execution/runners/videoscore/runtime/videoscore。

产物包括 scorecard.json（主键 videoscore_average）。

← 返回 Benchmark Hub