PhyEduVideo

本页内容

PhyEduVideo(IIIT Hyderabad、Adobe、IISER Thiruvananthapuram;WACV 2026)问的是 T2V 模型能不能画出一个教学点,不是它是否遵守某套定律分类。捆绑的 Prompts/Prompts.json 有 6 类 60 个概念(力学、振动与波动、流体、热力学、电磁学、光学),拆成 205 条视觉描述型教学点 prompt。

这是教育,不是 PhyGenBench(27 条定律常识生成),不是 PhyGround(TI2V 上 13 条定律准则),也不是 PhyFPS-Bench-Gen(帧率审计)。

论文:PhyEduVideo。项目:meghamariamkm.github.io/phyeduvideo26。代码:meghamariamkm/PhyEduVideo。

WorldFoundry 导入调用方提供的结果文件(JSON / JSONL / CSV),对照捆绑 manifest 校验 prompt/视频覆盖,并写出 scorecard。InternVL / CLIP / VQA 评审栈不在仓内运行。

论文官方 Teaser:文生视频在物理教学演示上的失败样例。
论文官方 Teaser:文生视频在物理教学演示上的失败样例。

评测维度

  • 物理教育 T2V
    类型任务

    课程教学点图示 prompt,不是定律准则锚定(PhyGround),也不是 PhyGenEval 常识生成。

  • 力学
    类型类别

    捆绑 Prompts.json 类别(60 个概念中的 23 个)。

  • 振动与波动
    类型类别

    捆绑 Prompts.json 类别。

  • 流体
    类型类别

    捆绑 Prompts.json 类别。

  • 热力学
    类型类别

    捆绑 Prompts.json 类别。

  • 电磁学
    类型类别

    捆绑 Prompts.json 类别。

  • 光学
    类型类别

    捆绑 Prompts.json 类别。

数据组成

  • 规模

    6 个捆绑类别共 60 个概念,拆成 205 条教学点 T2V prompt(Prompts/Prompts.json)。WorldFoundry 导入调用方结果文件,并可校验 prompt/视频覆盖。InternVL/CLIP/VQA 打分不在仓内运行。

  • 来源

    github.com

  • 模态

    text · video

  • 说明

    结果文件由调用方提供。覆盖率校验只配对 prompt 与视频,不验证上游分数如何产生。

指标

指标

  • semantic_adherence
    方向越高越好

    导入的语义符合度:是否对准教学点 prompt 与量表中的物体/动作。

  • physics_commonsense
    方向越高越好

    导入的教学物理常识族(不是 PhyGenBench 的 PhyGenEval 分)。

  • motion_smoothness
    方向越高越好

    导入的运动平滑度族。

  • temporal_flickering
    方向越高越好

    导入结果文件中的时序闪烁族(本指标面越高越好)。

  • phyeduvideo_average
    方向越高越好

    导入指标族的均值。

    主指标PhyEduVideo Average

Leaderboard

论文报告结果(非实时榜;不是 WorldFoundry 跑分)。 论文 Average 行的 SA 列。 PhyEduVideo: A Benchmark for Evaluating Text-to-Video Models for Physics Education (2026).

模型平均科学准确性(SA)
Wan2.10.83
PhyT2V0.78
CogVideoX0.75
Video-MSG0.68
VideoCrafter20.62

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id phyeduvideo \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/phyeduvideo/official-validation \
  --json

专用 runner 上的 --run-official 对 WorldFoundry 生成产物走同一条导入路径。产物包括 scorecard.json(主键 phyeduvideo_average)、results_summary.csv,以及文件提供时的逐样本行。

← 返回 Benchmark Hub