EvalCrafter

最后更新: 2026年10月7日

本页内容

EvalCrafter（腾讯 AI Lab 与香港城市大学）是 700 条 prompt 的文生视频质量套件。17 项客观指标汇总为四个分面加 evalcrafter_total：

视觉质量 — DOVER 美学 / 技术 VQA、Inception Score。
文本-视频对齐 — CLIP、BLIP-BLEU、SD 分、检测 / 颜色 / 计数、OCR 误差、名人身份误差。
运动质量 — 动作识别、运动活跃度、光流。
时序 — 时序 CLIP、warping 误差、人脸一致性。

论文：EvalCrafter。项目：evalcrafter.github.io。代码：evalcrafter/EvalCrafter。Prompt：RaphaelLiu/EvalCrafter_T2V_Dataset。仓内列表：worldfoundry/data/benchmarks/assets/evalcrafter/prompt700.txt。

WorldFoundry 保留 仓内 CLIP 子集（clip_score、clip_temp_score、face_consistency_score），以及官方 final_result.txt 的归一化器。视频必须按 prompt 序号命名（0000.mp4 … 0699.mp4）。内置 sample_results.txt 可供导入冒烟。主键：evalcrafter_total。

评测维度

视觉质量
类型轴
DOVER 美学 / 技术 VQA，外加 Inception Score。
文本-视频对齐
类型轴
CLIP、BLIP-BLEU、SD 分、检测 / 颜色 / 计数、OCR 误差、名人身份误差。
运动质量
类型轴
动作识别、运动活跃度与光流得分。
时序一致性
类型轴
时序 CLIP、warping 误差与人脸一致性。

数据组成

规模
700 条官方 T2V prompt（0000.mp4 … 0699.mp4）。17 项客观指标汇总为四个分面分加 Total。
来源
RaphaelLiu/EvalCrafter_T2V_Dataset · github.com
模态
text · video
许可证
apache-2.0
说明
仓内 official-run 只重算 CLIP 子集（clip_score、clip_temp_score、face_consistency_score）。其余 14 项从官方导出导入。

指标

visual_quality
方向越高越好
EvalCrafter 视觉质量得分。
text_video_alignment
方向越高越好
EvalCrafter 文本-视频对齐得分。
motion_quality
方向越高越好
EvalCrafter 运动质量得分。
temporal_consistency
方向越高越好
EvalCrafter 时序一致性得分。
evalcrafter_total
方向越高越好
EvalCrafter 聚合总分。
主指标EvalCrafter Total
vqa_aesthetic
方向越高越好
DOVER 美学组件分。
vqa_technical
方向越高越好
DOVER 技术组件分。
inception_score
方向越高越好
EvalCrafter IS（Inception Score）组件分。
clip_temp_score
方向越高越好
时序 CLIP 组件分。
warping_error
方向越低越好
时序 warping 误差；越低越好。
face_consistency_score
方向越高越好
人脸一致性组件分。
action_score
方向越高越好
动作识别组件分。
motion_ac_score
方向越高越好
运动活跃度组件分。
flow_score
方向越高越好
光流组件分。
clip_score
方向越高越好
CLIP 对齐组件分。
blip_bleu
方向越高越好
BLIP/BLEU 对齐组件分。
sd_score
方向越高越好
Stable-diffusion 对齐组件分。
detection_score
方向越高越好
检测对齐组件分。
color_score
方向越高越好
颜色对齐组件分。
count_score
方向越高越好
物体数量对齐组件分。
ocr_error
方向越低越好
OCR 不匹配组件分。
celebrity_id_error
方向越低越好
名人身份不匹配组件分。

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 evalcrafter.github.io.

evalcrafter.github.io · 实时打开实时榜

如何运行

导入官方聚合（冒烟用内置样本）：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id evalcrafter \
  --mode official-validation \
  --official-results-path worldfoundry/data/benchmarks/assets/evalcrafter/sample_results.txt \
  --output-dir tmp/evalcrafter/official-validation \
  --json

从编号 MP4 重算仓内 CLIP 子集：

export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/evalcrafter/generated_videos
worldfoundry-eval zoo benchmark-run \
  --benchmark-id evalcrafter \
  --mode official-run \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/evalcrafter/official-run \
  --json

CLIP ViT-B/32 通过 WORLDFOUNDRY_CLIP_VIT_B32_MODEL_DIR 或 --clip-model 解析。默认导入路径：WORLDFOUNDRY_EVALCRAFTER_RESULTS_PATH。可选根：WORLDFOUNDRY_EVALCRAFTER_ROOT。

仓内指针：

worldfoundry/data/benchmarks/tasks/external/evalcrafter.yaml
worldfoundry/evaluation/tasks/execution/runners/evalcrafter/
worldfoundry/data/benchmarks/assets/evalcrafter

产物包括 scorecard.json（主键 evalcrafter_total）、benchmark_contract.json、raw_metric_table.jsonl。

← 返回 Benchmark Hub

EvalCrafter

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面