---
title: EvalCrafter
description: "700 条 prompt 的 T2V 质量评测：视觉、对齐、运动、时序（17 项指标汇总为 Total）。WorldFoundry 可重算 CLIP 子集或导入，不编造榜单。"
---

EvalCrafter（腾讯 AI Lab 与香港城市大学）是 **700 条 prompt** 的文生视频质量套件。17 项客观指标汇总为四个分面加 `evalcrafter_total`：

- **视觉质量** — DOVER 美学 / 技术 VQA、Inception Score。
- **文本-视频对齐** — CLIP、BLIP-BLEU、SD 分、检测 / 颜色 / 计数、OCR 误差、名人身份误差。
- **运动质量** — 动作识别、运动活跃度、光流。
- **时序** — 时序 CLIP、warping 误差、人脸一致性。

论文：[EvalCrafter](https://arxiv.org/abs/2310.11440)。项目：[evalcrafter.github.io](http://evalcrafter.github.io)。代码：[evalcrafter/EvalCrafter](https://github.com/evalcrafter/EvalCrafter)。Prompt：[`RaphaelLiu/EvalCrafter_T2V_Dataset`](https://huggingface.co/datasets/RaphaelLiu/EvalCrafter_T2V_Dataset)。仓内列表：`worldfoundry/data/benchmarks/assets/evalcrafter/prompt700.txt`。

WorldFoundry 保留 **仓内 CLIP 子集**（`clip_score`、`clip_temp_score`、`face_consistency_score`），以及官方 `final_result.txt` 的归一化器。视频必须按 prompt 序号命名（`0000.mp4` … `0699.mp4`）。内置 `sample_results.txt` 可供导入冒烟。主键：`evalcrafter_total`。

<BenchmarkPageSections id="evalcrafter" locale="zh" />

## 如何运行

导入官方聚合（冒烟用内置样本）：

```bash
worldfoundry-eval zoo benchmark-run \
  --benchmark-id evalcrafter \
  --mode official-validation \
  --official-results-path worldfoundry/data/benchmarks/assets/evalcrafter/sample_results.txt \
  --output-dir tmp/evalcrafter/official-validation \
  --json
```

从编号 MP4 重算仓内 CLIP 子集：

```bash
export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/evalcrafter/generated_videos
worldfoundry-eval zoo benchmark-run \
  --benchmark-id evalcrafter \
  --mode official-run \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/evalcrafter/official-run \
  --json
```

CLIP ViT-B/32 通过 `WORLDFOUNDRY_CLIP_VIT_B32_MODEL_DIR` 或 `--clip-model` 解析。默认导入路径：`WORLDFOUNDRY_EVALCRAFTER_RESULTS_PATH`。可选根：`WORLDFOUNDRY_EVALCRAFTER_ROOT`。

仓内指针：

```text
worldfoundry/data/benchmarks/tasks/external/evalcrafter.yaml
worldfoundry/evaluation/tasks/execution/runners/evalcrafter/
worldfoundry/data/benchmarks/assets/evalcrafter
```

产物包括 `scorecard.json`（主键 `evalcrafter_total`）、`benchmark_contract.json`、`raw_metric_table.jsonl`。

[← 返回 Benchmark Hub](/zh/docs/evaluation/benchmark-hub)