DEVIL Dynamics

最后更新: 2026年10月7日

本页内容

DEVIL（国科大与百度；NeurIPS 2024）评的是文本生成视频的 动力学，不是好看不好看。Prompt 按动力学等级分层；多个时间粒度的分数汇总成三个协议指标，论文报告与人类评分 >90% 相关：

动态范围 — 模型能产生多少内容变化。
动态可控性 — 是否遵守所提示的动力学等级。
动态质量 — 在该动力学等级下的质量。

devil_dynamics_average 是这三项的均值。

WorldFoundry 从已就位的 artifact 分数物化指标行（WORLDFOUNDRY_DEVIL_DYNAMICS_ARTIFACT_SCORE_DIR），或 导入官方 JSON。完整重算仍需上游权重（RAFT、CLIP ViT-L/14 与 ViT-B/32、ViCLIP、DINOv2、AMT、动力学回归）。Gemini 自然度组件不在本地重算范围内。

评测维度

动态范围
类型轴
模型在各动力学等级上能产生多少内容变化。
动态可控性
类型轴
是否遵守所提示的动力学等级。
动态质量
类型轴
在官方动力学等级下的质量。

数据组成

规模
NeurIPS 2024 动力学导向 T2V 协议。Prompt 按动力学等级分层；三个协议指标与人类评分 >90% 相关。
来源
github.com
模态
text · video
说明
WorldFoundry 导入官方 JSON 或已就位 artifact 分数。完整重算需要 RAFT/CLIP/ViCLIP/DINOv2/AMT 与动力学回归权重。Gemini 自然度不在本地。

指标

dynamics_range
方向越高越好
Dynamics Range（动态范围）归一化基准分。
dynamics_controllability
方向越高越好
Dynamics Controllability（动态可控性）归一化基准分。
dynamics_quality
方向越高越好
Dynamics Quality（动态质量）归一化基准分。
devil_dynamics_average
方向越高越好
DEVIL Dynamics 平均分（归一化基准分）。
主指标DEVIL Dynamics Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。论文动态质量列。 Evaluation of Text-to-Video Generation Models: A Dynamics Perspective (2024).

模型	D_quality
FreeNoise-Lavie	66.3
OpenSora	63.7
ModelScope	62.6
StreamingT2V	60.8
Show-1	57.7
Hotshot-XL	52.2
Pika	52.1
ZeroScope	44.8

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id devil-dynamics \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/devil-dynamics/official-validation \
  --json

每个官方 DEVIL prompt 生成一条视频；等级分层来自官方 prompt 元数据。默认导入：WORLDFOUNDRY_DEVIL_DYNAMICS_RESULTS_PATH。运行时分数：WORLDFOUNDRY_DEVIL_DYNAMICS_ARTIFACT_SCORE_DIR。

仓内指针：worldfoundry/data/benchmarks/tasks/external/devil-dynamics.yaml，worldfoundry/evaluation/tasks/execution/runners/devil_dynamics。

产物包括 scorecard.json（主键 devil_dynamics_average）与 raw_metric_table.jsonl。

← 返回 Benchmark Hub

DEVIL Dynamics

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面