WorldFoundry
English中文

UniAnimate-DiT

论文方法总览：Wan-DiT 加上可训练姿态编码器与 QKV-LoRA，从参考图生成姿态驱动视频。

UniAnimate-DiT（Alibaba (Tongyi Lab)）：图生视频、视频生成；Runner 一致性待确认。

编辑此页GitHubMarkdown

UniAnimate-DiT 是阿里 ali-vilab 基于 Wan2.1-I2V 的人物图像动画模型：让人物照片按驱动姿态序列动起来。树内路径已配好本地 checkpoint 资产，暴露 max_frames、分辨率、步数与 seed 控制。

论文官方 Teaser：UniAnimate-DiT 根据驱动姿态动画化风格化与写实角色。
论文官方 Teaser：UniAnimate-DiT 根据驱动姿态动画化风格化与写实角色。
论文方法总览：Wan-DiT 加上可训练姿态编码器与 QKV-LoRA，从参考图生成姿态驱动视频。
论文方法总览：Wan-DiT 加上可训练姿态编码器与 QKV-LoRA，从参考图生成姿态驱动视频。

记录论文为arXiv 2504.11289。

代码：ali-vilab/unianimate-dit。

构建运行命令

推理 Pipeline
UniAnimateDiTPipelineworldfoundry.pipelines.video_official.pipeline_official_video
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  unianimate-dit \
  --pipeline.task-profile interactive-video \
  --json

用来做什么

用 unianimate-dit 跑本系列联合 T2V/I2V 推理路径。本页记录了这两种任务 profile。

构建在 Wan2.1 图生视频扩散 Transformer 之上，以姿态序列为条件驱动人物动画（checkpoint： ZheWang123/UniAnimate-DiT）。更深的条件机制细节仓库未记录。该模型由阿里巴巴（通义实验室）发布。

catalog 记录的任务包括 human-image-animation、图生视频、视频生成。模态上，它接受图像，输出视频。

运行时契约

可选 prompt、negative_prompt、input_path、frames、fps；产物 unianimate-dit.mp4。

CLI task profile：interactive-video。绑定的 pipeline 类是 UniAnimateDiTPipeline。

系列状态：Runner 一致性待确认。

interactive-video 记录默认值：height=832, width=480, seed=0。

已通过真实权重的短片 GPU 冒烟验证；完整 runner parity 仍待验证。 为获得最佳效果，请准备干净的人物照片与驱动姿态序列。

在 WorldFoundry 中运行

catalog 启动命令是 worldfoundry-eval run unianimate-dit --pipeline.task-profile interactive-video。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128（Python 3.11，CUDA 12.8）。

记录的权重仓库包括 ZheWang123/UniAnimate-DiT。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh unianimate-dit；下载缺失的公开权重时加 --download。

状态：Runner 一致性待确认。