AIGCBench

最后更新: 2026年10月7日

本页内容

AIGCBench（BenchCouncil，中科院计算所）评的是图生视频：给定条件图像和 prompt，片段是否保真、是否有运动、时序是否连贯？指标族：

首帧保真 — 相对条件图像的 mse_first / ssim_first。
对齐 — 图像-视频与文本-视频 CLIP。
参考视频对齐 — 关键帧 / 对应帧 CLIP 与 SSIM（需要官方参考）。
运动 — 光流平方均值。
时序 — 相邻帧 CLIP。
感知质量 — DOVER。也会记录 frame_count。

论文：AIGCBench。项目：benchcouncil.org/AIGCBench。代码：BenchCouncil/AIGCBench（Apache-2.0）。数据集：stevenfan/AIGCBench_v1.0。

WorldFoundry 导入官方指标 CSV / TSV（或流水线分数转储）。worldfoundry/data/benchmarks/assets/aigcbench 里的 prompt_suite.json 可在不下载完整 Hugging Face 数据的情况下物化请求。CLIP、DOVER 与光流打分器仍由调用方提供。官方导出提供时，主键为 aigcbench_average。

论文官方 Teaser：AIGCBench 的三个模块——评测数据、指标与待测图生视频模型。

评测维度

首帧保真
类型轴
条件图像与生成首帧之间的 MSE / SSIM。
图像 / 文本对齐
类型轴
生成视频与条件图像、文本 prompt 的 CLIP 相似度。
参考视频对齐
类型轴
相对官方参考视频的 CLIP / SSIM（关键帧与对应帧）。
运动强度
类型轴
光流平方均值，作为运动效果信号。
时序一致性
类型轴
相邻帧 CLIP 相似度。
感知质量
类型轴
DOVER 视频质量分。

数据组成

规模
BenchCouncil 图生视频套件：条件图像、文本 prompt 与参考视频。内置 prompt_suite.json 可在不下载完整 Hugging Face 数据的情况下物化请求。
来源
stevenfan/AIGCBench_v1.0 · github.com
模态
image · text · video
许可证
apache-2.0
说明
WorldFoundry 导入官方指标 CSV / TSV。CLIP、DOVER 与光流打分器仍由调用方提供。

指标

mse_first
方向越低越好
AIGCBench：条件图像与生成首帧间的 MSE；越低越好。
ssim_first
方向越高越好
AIGCBench：条件图像与生成首帧间的 SSIM。
image_genvideo_clip
方向越高越好
AIGCBench：条件图像与生成视频间的 CLIP 相似度。
genvideo_text_clip
方向越高越好
AIGCBench：生成视频与文本 prompt 间的 CLIP 相似度。
genvideo_refvideo_clip_keyframes
方向越高越好
AIGCBench：生成视频与参考视频关键帧间的 CLIP 相似度。
flow_square_mean
方向越高越好
AIGCBench：生成视频运动效果的光流平方均值。
genvideo_refvideo_clip_corresponding_frames
方向越高越好
AIGCBench：生成视频与参考视频对应帧间的 CLIP 相似度。
genvideo_clip_adjacent_frames
方向越高越好
AIGCBench：相邻帧 CLIP 相似度（时序一致性）。
frame_count
方向越高越好
AIGCBench：生成视频帧数。
dover
方向越高越好
AIGCBench：DOVER 视频质量分。
genvideo_refvideo_ssim
方向越高越好
AIGCBench：生成视频与参考视频间的 SSIM。
aigcbench_average
方向越高越好
AIGCBench：由官方 scorer 或归一化输出提供的官方聚合分。
主指标AIGCBench average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。 AIGCBench: Comprehensive Evaluation of Image-to-Video Content Generated by AI (2024).

模型	DOVER（视频质量）
Gen2	0.775
Pika	0.715
SVD	0.623
VideoCrafter	0.518
I2VGen-XL	0.510

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id aigcbench \
  --mode official-validation \
  --official-results-path <official_results.csv> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/aigcbench/official-validation \
  --json

--strict 会在覆盖缺口处失败；--prompt-manifest 可限制 prompt 子集。首帧 / 参考视频指标族需要官方资源就位。默认导入路径：WORLDFOUNDRY_AIGCBENCH_RESULTS_PATH。共享栈：video_quality_motion_stack。

仓内指针：

worldfoundry/data/benchmarks/tasks/external/aigcbench.yaml
worldfoundry/data/benchmarks/assets/aigcbench

产物包括 scorecard.json（主键 aigcbench_average）、benchmark_contract.json、raw_metric_table.jsonl。

← 返回 Benchmark Hub

AIGCBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面