ChronoMagic-Bench

ChronoMagic-Bench（北大 Yuan Group，联合罗切斯特大学）问的是文生视频模型会不会做形态变化延时摄影：大幅物理、生物或化学状态变化（冰融化、花开、施工），同时保持时序连贯。官方 close 划分有 1,649 条 prompt。两个核心分族：

• CHScore — 用 CoTracker 看跟踪点是否连贯。
• MTScore / GPT-4o-MTScore — 形态变化幅度（InternVideo2 或 GPT-4o）。

Hugging Face 发现表记录 1,799 行。上游还列出 ChronoMagic / Pro / ProH 训练数据。榜单对齐另外需要 UMT-FVD 与 UMTScore，WorldFoundry 不把它们当成已经齐备。

论文：ChronoMagic-Bench。项目：pku-yuangroup.github.io/ChronoMagic-Bench。代码：PKU-YuanGroup/ChronoMagic-Bench。数据：BestWishYsh/ChronoMagic-Bench（CC-BY-4.0）。

WorldFoundry 内置官方 runtime，按所选分量脚本执行（chscore、mtscore、gpt4o_mtscore），再做官方 JSON 归一化。CHScore 是仓内已验证的有界官方分量。主键：chronomagic_score。

评测维度

• 时间连贯

  类型轴

  CHScore：通过 CoTracker 的跟踪点连贯性。

• 形态变化幅度

  类型轴

  MTScore / GPT-4o-MTScore：大幅物理或生物状态变化。

数据组成

• 规模

  1,649 条闭集 prompt；ChronoMagic-Bench 数据集发现记录 1,799 行

• 来源

  BestWishYsh/ChronoMagic-Bench · BestWishYsh/ChronoMagic · BestWishYsh/ChronoMagic-Pro · BestWishYsh/ChronoMagic-ProH · github.com

• 划分

  close

• 模态

  text · video

• 许可证

  cc-by-4.0

• 说明

  CHScore 是仓内已验证的有界官方分量。榜单对齐仍需要 MTScore、GPT-4o-MTScore、UMT-FVD、UMTScore、完整 prompt 覆盖与官方提交协议。

指标

指标

• chronomagic_score

  方向越高越好

  Scorecard 使用的主 ChronoMagic 分族。官方核心分量是 CHScore（连贯）与 MTScore / GPT-4o-MTScore（形态变化幅度）。

  主指标ChronoMagic Score

• temporal_transformation

  方向越高越好

  延时形变与顺序一致性（官方导出提供该分族时）。

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 Hugging Face Space（BestWishYsh）.

如何运行

对 close 划分生成视频跑 CHScore：

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/chronomagic_bench/run_chronomagic_bench_official_runner.py \
  --chronomagic-root worldfoundry/evaluation/tasks/execution/runners/chronomagic_bench/runtime/chronomagic_bench \
  --components chscore \
  --generated-video-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --model-name worldfoundry \
  --eval-type close \
  --model-pth-chscore "${WORLDFOUNDRY_CHRONOMAGIC_CHSCORE_CKPT}" \
  --output-dir tmp/chronomagic-bench/chscore \
  --python "${WORLDFOUNDRY_UNIFIED_PYTHON}" \
  --json

--components 也可选 mtscore、gpt4o_mtscore 或 all。MTScore 需要 WORLDFOUNDRY_CHRONOMAGIC_MTSCORE_CKPT；GPT-4o-MTScore 需要 OPENAI_API_KEY 或 WORLDFOUNDRY_CHRONOMAGIC_OPENAI_API。已有导出通过 --official-results-path / WORLDFOUNDRY_CHRONOMAGIC_RESULTS_PATH 导入。数据集发现根：WORLDFOUNDRY_CHRONOMAGIC_DATASET_ROOT。

hf download BestWishYsh/ChronoMagic-Bench --repo-type dataset \
  --local-dir cache/worldfoundry/data/hfd_datasets/BestWishYsh/ChronoMagic-Bench

仓内指针：worldfoundry/evaluation/tasks/execution/runners/chronomagic_bench/runtime/chronomagic_bench。

产物包括 scorecard.json（主键 chronomagic_score）、raw_metric_table.jsonl，以及打分器运行时捕获的上游日志。

← 返回 Benchmark Hub