WorldFoundry
English中文

AnimateDiff

论文方法总览：AnimateDiff 在冻结的文生图 U-Net 中插入时间运动模块，必要时再用 MotionLoRA 适配新运动模式。

上海 AI 实验室 / 港中文 MMLab 的 SD 1.5 运动模块文生视频。已对照官方 RealisticVision demo 验证 runner；本地没有图生视频或视频到视频。

编辑此页GitHubMarkdown

AnimateDiff 是经典的运动模块式文生视频：在现成的 Stable Diffusion 1.5 U-Net 上插入时序模块，而不是从头训练视频骨干。WorldFoundry 的树内路径 runner 已验证——文件 SHA256 与逐帧解码像素 SHA256 与官方 RealisticVision scripts.animate demo 一致。别名 animate-diff、animate_diff 解析到这里。

论文方法总览：AnimateDiff 在冻结的文生图 U-Net 中插入时间运动模块，必要时再用 MotionLoRA 适配新运动模式。
论文方法总览：AnimateDiff 在冻结的文生图 U-Net 中插入时间运动模块，必要时再用 MotionLoRA 适配新运动模式。

论文是 AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning。项目页：animatediff.github.io。代码：guoyww/AnimateDiff。上方方法总览是官方架构图；paper.png 只作标题缩略图。

构建运行命令

推理 Pipeline
AnimateDiffPipelineworldfoundry.pipelines.component_pipelines
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  animatediff \
  --pipeline.task-profile interactive-video \
  --json

它用来做什么

只接受 prompt 的文生视频，走 AnimateDiffPipeline：必填 prompt，catalog 产物名是 animatediff.gif（运行时会把写出的文件规范成 MP4）。传入 image 或 video 会报错——本集成不是图生视频，也不是视频到视频。同一 GitHub 树里有 SparseCtrl 配置，但不是本卡片。

可以换 T2I 基座（已验证 demo 用的是 Realistic Vision），运动模块保持不变。画质与时序一致性可对照 VBench——列出的套件，不是已摄入排名。

推理

采样器是 DDIM（inference-v2.yaml 里的 DDIMScheduler）。WorldFoundry generate_video 默认值：

旋钮默认说明
分辨率256×256高宽须能被 8 整除
帧数16video_length / num_frames
步数25infer_steps
Guidance7.5cfg_scale
FPS8写出的 MP4
Seed1234

与 parity 对齐的官方 RealisticVision prompt YAML 同样是 25 步，但 guidance 8，并在 mm_sd_v15_v2.ckpt + inference-v2.yaml 或 v3_sd15_mm.ckpt + inference-v3.yaml 之间二选一。默认运动模块路径是 $WORLDFOUNDRY_HFD_ROOT/guoyww--animatediff/mm_sd_v15_v2.ckpt；Realistic Vision 权重来自 guoyww/animatediff_t2i_backups。catalog 未记录显存。

在 WorldFoundry 中运行

在 worldfoundry-unified-cu128（Python 3.11，CUDA 12.8）中运行 worldfoundry-eval run animatediff。官方模块会调用 .cuda()——CPU 会被拒绝。请就位 guoyww/animatediff、guoyww/animatediff_t2i_backups、stable-diffusion-v1-5/stable-diffusion-v1-5 和 openai/clip-vit-large-patch14。记录卡片上运动模块许可是 apache-2.0。Studio/API 走同一套统一环境，并包含已记录的 diffusers/transformers 键名兼容修复。