WorldFoundry
English中文

LingBot-Video

论文方法总览：LingBot-Video 的视频生成架构。

LingBot-Video（Robbyant (Ant Group)）：文生图、文生视频；Runner 一致性待确认。

编辑此页GitHubMarkdown

LingBot-Video 是蚂蚁灵波（Robbyant）的视频生成系列，记录了文生图、文生视频、图文生视频与视频细化四类任务。catalog 记录两条 checkpoint 线：稠密 1.3B 模型与带细化器的 MoE 30B-A3B 模型。WorldFoundry 将推理包平铺在树内 synthesis/visual_generation/lingbot_video 下，并有意排除了提示词改写、训练与评测源码。

论文官方 Teaser：LingBot-Video 的视频生成论文配图。
论文官方 Teaser：LingBot-Video 的视频生成论文配图。
论文方法总览：LingBot-Video 的视频生成架构。
论文方法总览：LingBot-Video 的视频生成架构。

记录论文为arXiv 2607.07675。

项目页：technology.robbyant.com/lingbot-video。代码：Robbyant/lingbot-video。

构建运行命令

推理 Pipeline
LingBotVideoGenerationPipelineworldfoundry.pipelines.lingbot_video.pipeline_lingbot_video
任务
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  lingbot-video \
  --pipeline.task-profile t2v \
  --json

用来做什么

用 lingbot-video 跑本系列联合 T2V/I2V 推理路径。本页记录了这两种任务 profile。

稠密 1.3B 与 MoE 30B-A3B（激活 3B）两个 checkpoint 共享同一推理面；MoE 线增加了细化阶段。保留的代码路径包括直连 Diffusers、可选 SGLang、FSDP、上下文并行与 CFG 并行。上游推荐栈要求专用的 Transformers 5 / Diffusers 0.39 环境。该模型由蚂蚁灵波科技（Robbyant，蚂蚁集团）发布。

catalog 记录的任务包括 文生图、文生视频、text-image-to-video、video-refinement。别名包括 lingbot-video-dense、lingbot-video-moe。模态上，它接受文本、图像，输出图像、视频。

记录的评测入口包括VBench（两条 checkpoint 线通用的文生视频质量评测）。

LingBot 文/图生视频家族，不是世界卡。

运行时契约

可选 prompt、prompt_json、negative_prompt、backend、mode；产物 generated_image、generated_video、lingbot_video.mp4。

CLI task profile：t2v、ti2v、t2i。绑定的 pipeline 类是 LingBotVideoGenerationPipeline。

系列状态：MoE 短片 T2V 已与官方运行器对照，其他模式待验证。

t2v 记录默认值：height=480, width=832, num_frames=121, num_inference_steps=40, guidance_scale=3.0, seed=42；ti2v 记录默认值：height=480, width=832, num_frames=121, num_inference_steps=40, guidance_scale=3.0, seed=42。

结构化 prompt_json 若包含 duration，运行器会按 duration × fps 推导帧数并向上取到 4n+1。要使用该时长，请省略 num_frames，或将其设为相同的推导值；显式冲突会在加载权重前报错。Studio 预设含 num_frames=121，若提供不同时长的提示 JSON，需要删掉或改成对应帧数。

已发布的稠密 1.3B checkpoint 有一次记录在案的 121 帧、832x480 Workspace 产物。对 MoE 30B-A3B，固定版本的官方脚本与 WorldFoundry 运行器使用官方 T2V 示例 1，仅将时长从 5 秒缩短为 1 秒，以相同种子、40 步各生成了清晰连贯的 25 帧、832x480 视频。两路解码帧的逐帧 RGB MAE 均值为 10.48/255，说明该配置的视觉和任务结果一致，但并非逐像素相同。先前 20 步小玩具车结果仍是提示词特定的画质疑虑；标准 5 秒配置、细化器和其他模式仍待验证。注意 profile 中的一个细节：即使默认产物类型是 T2V 视频路径，T2I 也会产出图像。稠密与 MoE 权重均为外部资产（apache-2.0），不入 git。

在 WorldFoundry 中运行

catalog 启动命令是 worldfoundry-eval run lingbot-video --pipeline.task-profile t2v。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128（Python 3.11，CUDA 12.8，torch==2.11.0+cu128）。

记录的权重仓库包括 robbyant/lingbot-video-dense-1.3b、robbyant/lingbot-video-moe-30b-a3b、robbyant/lingbot-video-dense-1.3b 等。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh lingbot-video；下载缺失的公开权重时加 --download。

记录 license 为 apache-2.0；状态：Runner 一致性待确认。