MiraBench

最后更新: 2026年10月7日

本页内容

MiraBench（腾讯 ARC Lab）是 MiraData 的评测半边。MiraData 是带结构化字幕的长视频数据集。它从六个视角打分：时间一致性、时间运动强度、3D 一致性、视觉质量、文本-视频对齐、分布一致性。官方打分器暴露 17 个指标（DINO/CLIP 时间一致性、RAFT 风格运动、3D 重建误差、美学 / 成像质量、ViCLIP 对齐、FVD / FID / KID）。标准套件是 150 条 prompt。许可证：GPL-3.0。

论文：MiraData。项目：mira-space.github.io。数据：TencentARC/MiraData。代码：mira-space/MiraData。

WorldFoundry 仓内内置 runtime（calculate_score.py），并把 average_score.csv 转成 scorecard。WORLDFOUNDRY_MIRABENCH_SCORER_BACKEND=mock 只是接线。

评测维度

时间一致性 / 运动
类型轴
DINO/CLIP 时间一致性、RAFT 风格运动强度、平滑。
3D 一致性
类型轴
重建 MAE/RMSE；越低越好。
视觉质量
类型轴
美学与成像质量。
结构化字幕对齐
类型轴
相机、物体、背景、风格、整体 ViCLIP 对齐。
分布一致性
类型轴
FVD、FID、KID；越低越好。

数据组成

规模
腾讯 ARC 随 MiraData 的长视频评测。标准套件 150 条带结构化字幕的 prompt。官方打分器暴露 17 个指标。GPL-3.0。
来源
github.com
模态
text · video
许可证
GPL-3.0
说明
WorldFoundry 内置 calculate_score.py。Mock 后端只是接线。完整上游打分器执行仍待完成。

指标

dynamic_degree
方向越高越好
运动强度和长程 tracking strength。
tracking_strength
方向越高越好
MiraBench tracking-based long-range motion strength.
dino_temporal_consistency
方向越高越好
时序结构、语义连续性和运动平滑度。
clip_temporal_consistency
方向越高越好
MiraBench CLIP adjacent-frame semantic temporal consistency.
temporal_motion_smoothness
方向越高越好
MiraBench AMT-prior temporal motion smoothness.
mean_absolute_error
方向越低越好
3D consistency errors；越低越好。
root_mean_square_error
方向越低越好
MiraBench 3D reconstruction root mean square error; lower is better.
aesthetic_quality
方向越高越好
视觉质量指标。
imaging_quality
方向越高越好
MiraBench MUSIQ imaging quality score.
camera_alignment
方向越高越好
结构化 caption alignment 指标。
main_object_alignment
方向越高越好
MiraBench ViCLIP main-object-caption alignment.
background_alignment
方向越高越好
MiraBench ViCLIP background-caption alignment.
style_alignment
方向越高越好
MiraBench ViCLIP style-caption alignment.
overall_alignment
方向越高越好
MiraBench ViCLIP overall text-video alignment.
fvd
方向越低越好
分布指标；越低越好。
fid
方向越低越好
MiraBench Fréchet Inception Distance distribution metric; lower is better.
kid
方向越低越好
MiraBench Kernel Inception Distance distribution metric; lower is better.
mirabench_average
方向越高越好
官方 aggregate，或可用指标的均值。
主指标Mirabench Average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。表 3 的 TS 列。MiraBench 有 17 个指标；这是论文的运动跟踪分，不是 17 项平均。 MiraData: A Large-Scale Video Dataset with Long Durations and Structured Captions (2024).

模型	跟踪强度（TS）
MiraDiT (MiraData)	49.47
MiraDiT (WebVid-10M)	22.36
OpenSora	16.07
VideoCrafter2	6.72

如何运行

export WORLDFOUNDRY_MIRABENCH_META_CSV=/path/to/mirabench/meta_generated.csv
export WORLDFOUNDRY_MIRABENCH_GT_META_CSV=/path/to/mirabench/meta_gt.csv
export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/mirabench/generated_videos
export WORLDFOUNDRY_MIRABENCH_CKPT_PATH=/path/to/mirabench/data/ckpt

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/mirabench/run_mirabench_official_runner.py \
  --run-official \
  --meta-csv "${WORLDFOUNDRY_MIRABENCH_META_CSV}" \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/mirabench/official-run \
  --strict \
  --json

导入 average_score.csv：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id mirabench \
  --mode official-validation \
  --official-results-path /path/to/mirabench/average_score.csv \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/mirabench/official-validation \
  --json

视频命名 1.mp4 … 150.mp4（来自 video_idx）。示例 meta 捆绑在 worldfoundry/data/benchmarks/assets/mirabench/data/evaluation_example/。--strict 会在缺 prompt 视频时失败。完整打分需要 AMT、ViCLIP、MUSIQ、FVD/FID/KID 与 3D 一致性资产。

仓内指针：worldfoundry/data/benchmarks/tasks/external/mirabench.yaml，worldfoundry/evaluation/tasks/execution/runners/mirabench/runtime/mirabench。

产物包括 scorecard.json（主键 mirabench_average）与 mirabench_average_score.json。

← 返回 Benchmark Hub

MiraBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面