FETV

FETV（北大与华为诺亚）是细粒度开放域文生视频评测。619 条 prompt 落在三个正交轴上：主要内容、属性控制（颜色、数量、风格）、prompt 复杂度（简单 vs 组合）。打分混合人工评分（静态质量、时序质量、整体 / 细粒度对齐）与自动指标（CLIPScore、BLIPScore、FID、FVD）。只有声明的分量齐备时才写出 fetv_average。

论文：FETV（NeurIPS 2023 D&B）。Prompt：llyx97/FETV。打分器：llyx97/FETV-EVAL。数据集：lyx97/FETV（CC-BY-4.0）。

WorldFoundry 内置 FETV-EVAL，把生成视频接到官方 prompt 索引（官方 16 帧布局），通过共享基座资源跑 CLIPScore，并归一化 FETV-EVAL 结果目录或 CSV。人工评分不能重算。BLIP / FID / FVD 需要对应包与参考帧。

评测维度

• 主要内容

  类型轴

  片段描绘的主要内容或事件。

• 属性控制

  类型轴

  请求的属性（颜色、数量、风格等）是否被实现。

• Prompt 复杂度

  类型轴

  简单 prompt 与组合式 prompt 的难度分层。

数据组成

• 规模

  619 条 prompt，沿三个正交轴分类

• 来源

  lyx97/FETV · github.com · github.com

• 模态

  text · video

• 许可证

  cc-by-4.0

• 说明

  CLIPScore 是仓内已验证的有界官方分量。人工评分与 BLIP / FID / FVD 需要导入分数或额外资源。

指标

指标

• static_quality

  方向越高越好

  FETV 人工静态质量得分。

• temporal_quality

  方向越高越好

  FETV 人工时序质量得分。

• overall_alignment

  方向越高越好

  FETV 整体文本-视频对齐得分。

• fine_grained_alignment

  方向越高越好

  FETV 细粒度 prompt 侧面对齐得分。

• clip_score

  方向越高越好

  FETV 自动 CLIPScore 组件。

• blip_score

  方向越高越好

  FETV 自动 BLIPScore 组件。

• fid

  方向越低越好

  FETV 的 Fréchet Inception Distance 组件；越低越好。

• fvd

  方向越低越好

  FETV 的 Fréchet Video Distance 组件；越低越好。

• fetv_average

  方向越高越好

  仅当所有声明的 FETV 组件分齐备时输出的均值。

  主指标FETV Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 官方论文 Figure 7：静态质量、时序质量与总体对齐（1–5 人工）。行序按总体对齐面板；不是单一 Overall 排名。 FETV: A Benchmark for Fine-Grained Evaluation of Open-Domain Text-to-Video Generation (2023).

模型	静态质量	时序质量	总体对齐
ModelScopeT2V	3.78	4.07	3.79
ZeroScope	3.52	3.72	3.57
Text2Video-Zero	4.11	2.04	3.42
CogVideo	3.24	3.30	3.10

如何运行

导入 FETV-EVAL 目录或官方 CSV：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id fetv \
  --mode official-validation \
  --official-results-path <official_results.csv-or-FETV-EVAL-dir> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/fetv/official-validation \
  --json

用 --fetv-metrics 选择自动指标族（clip_score、blip_score、fid、fvd）。FID / FVD 需要 --fetv-fid-real-video-dir / --fetv-fvd-real-video-dir。默认导入路径：WORLDFOUNDRY_FETV_RESULTS_PATH。可选：WORLDFOUNDRY_FETV_RUNTIME_ROOT、WORLDFOUNDRY_FETV_ARTIFACT_SCORE_DIR。共享栈：video_quality_motion_stack、fetv_blip_retrieval_source、fetv_stylegan_v_fvd_source。

仓内指针：

worldfoundry/data/benchmarks/tasks/external/fetv.yaml
worldfoundry/evaluation/tasks/execution/runners/fetv/runtime/fetv_eval
worldfoundry/data/benchmarks/assets/fetv/fetv_data.json

产物包括 scorecard.json（齐备时主键 fetv_average）、benchmark_contract.json、raw_metric_table.jsonl。

← 返回 Benchmark Hub