WorldFoundry
English中文

DynamiCrafter

论文方法总览：DynamiCrafter 的视频生成架构。

腾讯 / 港中文的开放域图生视频。两条已接线变体：512 与 1024。官方长配置一致性待验证。许可证审完前限制再分发。

编辑此页GitHubMarkdown

DynamiCrafter 给开放域静帧做动画：图（加可选提示词）进去，一段像样的运动出来。它是 U-Net 时代的潜视频扩散，双流图像条件（CLIP 图像特征 + VAE 潜变量）。WorldFoundry 把两个分辨率 profile 封成树内运行时。默认 pipeline：DynamiCrafter512I2VPipeline。变体：dynamicrafter-512-i2v、dynamicrafter-1024-i2v。

论文方法总览：DynamiCrafter 的视频生成架构。
论文方法总览：DynamiCrafter 的视频生成架构。

论文：arXiv 2310.12190。项目页：doubiiu.github.io/projects/DynamiCrafter。发布方：腾讯 AI Lab / 港中文。catalog 未记许可证；manifest 在上游许可审完前限制再分发。

两条变体都已接线；官方长配置一致性待验证。求快用 512，定稿用 1024。它会发明运动——不跟相机路径或动作。

构建运行命令

推理 Pipeline
DynamiCrafter512I2VPipelineworldfoundry.pipelines.dynamicrafter.pipeline_dynamicrafter_512_i2v
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  dynamicrafter-512-i2v \
  --pipeline.task-profile interactive-video \
  --json

变体

  • dynamicrafter-512-i2v
    状态Runner 一致性待确认

    image-to-video

    Runtime profiledynamicrafter-512-i2v

    Pipeline bindingdynamicrafter-512-i2v

  • dynamicrafter-1024-i2v
    状态Runner 一致性待确认

    image-to-video

    Runtime profiledynamicrafter-1024-i2v

    Pipeline bindingdynamicrafter-1024-i2v

用来做什么

用 DynamiCrafter 图生视频把静帧动起来。

启动 worldfoundry-eval run dynamicrafter-512-i2v。

评测入口：AIGCBench（与 DynamiCrafter 任务对齐的图生视频评测）。

运行时契约

必填 prompt、image；可选 video；actions：seed；产物 dynamicrafter-512-i2v.mp4。

变体尺寸帧数帧步长产物
dynamicrafter-512-i2v320×5125024dynamicrafter-512-i2v.mp4
dynamicrafter-1024-i2v576×10245010dynamicrafter-1024-i2v.mp4

在 WorldFoundry 中运行

状态：Runner 一致性待验证。统一环境 worldfoundry-unified-cu128（Python 3.11, CUDA 12.8）。先把 Doubiiu/DynamiCrafter、Doubiiu/DynamiCrafter_512、Doubiiu/DynamiCrafter_1024 就位到本地，缺文件加载失败，运行时不下载。在该环境执行 worldfoundry-eval run dynamicrafter-512-i2v。catalog 未记录 VRAM。