可插拔 diffusion 加速

原生精度 Wan MHA 融合在 H100 的两个种子测试中保持最终 latent/RGB 逐位一致：17 帧加速 1.19%–1.42%，41 帧加速 0.60%–0.66%。插件按模型配置，支持卸载恢复；默认关闭。

上游对照

对照固定版本：FlashDreams 91c906b 与 Sana Sol-Engine 670482d。已有能力按真实消费入口区分；可选依赖或同名开关不能证明执行和性能。

HyperFlow 先前已向上游转发 --sol-attn，WorldGen 也已有可选 Flux/Nunchaku 路径；这些不等于共享原生 Wan/SANA 已完成集成。本轮补齐了原生 packed SVDQuant、独立 MHA 精度/kernel 调度与校准 FP8 encoder 的入口和执行验证。它们是受限的原生实现；Nunchaku checkpoint 兼容、FP8 TMA、streaming KV 与 steady-state Graph 组合尚不支持。

上游依据：FlashDreams accelerated、Sol kernel、cache、quant、Sol-Attn。EasyCache 控制器依据上游算法独立实现。

代码与生命周期

源码路径以 worldfoundry/ 为根。

安装器先准备全部计划，再修改模型；冲突或任一安装失败会撤销已完成的修改。融合和 cache adapter 保留原 checkpoint 参数和 state-dict key。Selective FP8 保留原模块用于撤销，但启用时的 wrapper 是推理视图：保存或加载 canonical state dict、修改 placement/dtype、训练或编辑权重之前先卸载。

模型持有的生命周期 guard 在插件尚未安装时就跟踪活跃 forward 和显式 request ID。安装与撤销都拒绝活跃请求；双 expert schedule 在任一 expert 执行前就保护两个模型。原生 runner 在成功和异常结束时释放 ownership。切换插件要求模型空闲；已编译模型或持有 CUDA Graph runner 的模型需要重建。这些保护覆盖框架 denoiser；直接调用 module 时，调用方仍需避免并发修改。

EasyCache 按显式 request_id 和 CFG 分支隔离，正常结束和异常退出均释放张量，只留下有界 JSON 回执。条件快照能够检测 inference tensor 的原地修改，并使旧 residual 失效。阈值 0.0 执行全部原始块并直接返回 dense 输出。

模型加载器只在声明 supports_acceleration_plugins 的 DiT 上应用共享配置。assembler 检查 denoiser 的安装回执，拒绝接收了插件选项却没有安装的路径。安装回执始终标为 execution_verified=False；实际 kernel 和跳过块数另行验证。

使用方式

import torch
from worldfoundry.base_models.diffusion_model.pipeline import NativeDiffusionPipeline
from worldfoundry.core.model_loading.policy import RuntimePolicy

policy = RuntimePolicy(
    device="cuda",
    dtype=torch.bfloat16,
    options={"accelerations": {"sana_block_fusion": True}},
)
pipeline = NativeDiffusionPipeline.from_pretrained("sana-video-2b-480p", policy=policy)
# 按常规 DiffusionRequest 运行；之后读取该请求的运行回执。
report = pipeline.components.denoiser.runtime_optimization_report()

也可在已加载的空闲模型上安装并撤销，不修改环境变量：

from worldfoundry.base_models.diffusion_model.optimizations.plugins import (
    diffusion_acceleration_registry,
    install_diffusion_accelerations,
)

model = pipeline.components.denoiser.model
existing = getattr(model, "_worldfoundry_accelerations", None)
if existing is not None:
    existing.uninstall()
session = install_diffusion_accelerations(model, {"easycache": {"threshold": 0.0}}, policy)
# 请求由 native runner 的 finally 清理；直接调用 denoiser 时须调用 end_request。
session.uninstall()

registry = diffusion_acceleration_registry()
# registry.register("custom_kernel", prepare_factory)
# prepare_factory 只校验，返回 PreparedAcceleration；activate 返回可撤销 handle。

加载配置与手动安装任选一种；手动替换前应撤销已有 session。组件选项覆盖同名 runtime 选项。公共 native pipeline 的 load 参数也接受 accelerations={...}。

EasyCache 拒绝 streaming、camera/control 子图、offload、compile、CUDA Graph、SP、其他 feature cache、近似 processor 和 inplace residual。Resident 原生 Wan2.2 双 expert 现在有下文的受限 schedule 契约。条件必须由 tensor、mapping、list/tuple 和标量组成。cache 的 block callback 必须不修改输入。Scoped attention 同样拒绝未经验证的 Graph/SP/近似 processor 组合，Wan Sol 路径还拒绝 compile。

Wan Sol 配置示例，先在隔离环境安装上游 provider：

policy = RuntimePolicy(
    device="cuda", dtype=torch.bfloat16,
    options={
        "dit_weight_dtype": "bf16",
        "accelerations": {"attention_policy": {
            "self": {"backend": "sol_attn", "tau": 1.0}, "cross": "torch",
        }},
    },
)

验证环境为 sol-attn 0.5.0、PyTorch 2.10.0+cu128、Triton 3.6.0、CUTLASS DSL 4.8.0、cuda-python 13.4.1 和 apache-tvm-ffi 0.1.14.post1。源码来自上述固定 Sol 分支的 techniques/sparse_backends。不要为了这个可选插件升级已有推理环境；当前通用探测至少要求 PyTorch 2.10、CUDA 12.8、Triton 3.6 与 sol-attn 0.5。

此 Sol provider 使用 BF16 Q/K/V，与选择性 FP8 投影插件分别配置。默认 compress_kv=True 时，tau=0 仍按均值阈值路由，可能压缩 K/V，不能当作 dense attention。compress_kv=False 显式关闭压缩，但保留 Sol kernel 及其数值舍入；仍是需要完整生成验证的近似候选。

选择性投影精度与 Cross-KV packing

只选择 Wan FFN 投影，不改变 attention 或 normalization 的精度：

policy = RuntimePolicy(
    device="cuda", dtype=torch.bfloat16,
    options={
        "dit_weight_dtype": "bf16",
        "accelerations": {"selective_fp8": {
            "include": ["blocks.*.ffn.0", "blocks.*.ffn.2"],
            "scaling": "rowwise", "use_fast_accum": False,
        }},
    },
)

支持原生 WanModel、stateless Sana/SanaMS/SanaMSVideo 及其默认 block。选择必须匹配可用的普通 Linear；空匹配、共享参数存储、目标 Linear 自身的 hook、自定义 forward 和未支持的 checkpoint graph 在修改前报错。父模块的 pre/post hook 保持执行。CPU 或小 CUDA workload 可能执行保留的原始 dense 算子，回执会明确记录 fallback，不能据此报告 FP8 加速。实际 CUDA 低精度 GEMM 使用 torch._scaled_mm；它不是原生 packed SVDQuant kernel。

保留原 dense 权重用于准确恢复，并额外存储 FP8 执行权重与 scale；该插件优化计算，不承诺权重显存减少。它拒绝通用量化、feature/static-KV cache、近似 attention、offload、compile、Graph 和 SP。默认 SANA 逐点融合可以作为组合候选，但完整生成的组合质量仍须验证。

Wan K/V packing 可单独配置：

policy = RuntimePolicy(
    device="cuda", dtype=torch.bfloat16,
    options={"accelerations": {"wan_cross_kv_fusion": {
        "min_tokens": 256, "include_image": False,
    }}},
)

Adapter 保留原 K/V Parameter 和 checkpoint key，只新增派生 packed tensor。Wan2.2 5B 的 width=3072、30 blocks，仅文本 K/V packing 就额外增加约 1.1 GiB BF16 权重。默认 cross-attention 和 static-KV cache miss 共用同一投影入口；cache hit 保持已有复用。安装前必须使旧 static-KV 条目失效；撤销会释放 packed tensor 并清空可能包含融合舍入结果的 cache，保证下一次调用恢复原投影调度。

普通参数修改、checkpoint assignment 和 dtype/device 转换通过源对象及版本刷新 packed 权重。原始 .data 修改需重新安装；权重或条件变化还需遵守已有 static-cache invalidation 契约。自定义 processor、带 hook 或覆盖 forward 的投影、训练、compile、capture、offload 和 SP 均拒绝。同一 cross K/V 被 selective_fp8 选择时，不论配置顺序，都在 activation 前判定冲突。回执分开记录 text/image packed calls 与 dense bypass。

匹配的 Wan2.1 LightVAE

显式 lightvae-wan21 codec variant 使用 LightX2V student checkpoint：32,208,043 bytes，SHA256 d5d6b094d4829fb03b6179be2cf4589baab21c9fea1ca70dcaa8c85ba8183ec9。全部 194 个 key/shape 与原生 base24 架构匹配：24/48/96 特征通道、16 latent 通道、encoder 11 个 downsample block。沿用 Wan16 mean/std、BCTHW 布局、空间 8×/时间 4× 压缩。Teacher base96 或 Wan2.2 48-channel 权重会被严格拒绝。

它使用不同的学习权重，是 codec 架构选择。即便实现与独立 student reference 一致，报告仍始终标为 algorithmically approximate。恢复 teacher 需要以 teacher 权重重建 codec。首版支持 FP32 resident CPU/CUDA inference；其他 build purpose、低精度/autocast、tiling、额外 temporal chunking、parallel decode、offload、通用量化、compile、Graph 和 SP 都拒绝。

SANA-Video 480p recipe 默认使用 tiled codec，因此必须显式关闭 tiling：

pipeline = NativeDiffusionPipeline.from_pretrained(
    "sana-video-2b-480p",
    policy=RuntimePolicy(device="cuda", dtype=torch.bfloat16),
    checkpoint_overrides={"codec": "/path/to/lightvaew2_1.pth"},
    component_options={"latent_encoder:codec": {
        "variant": "lightvae-wan21", "tiled": False, "dtype": torch.float32,
    }},
)

Wan recipe 使用已有的 vae checkpoint override，SANA 使用 codec。独立 codec 调用可用 load_wan_video_codec(path, variant="lightvae-wan21", device="cuda", dtype=torch.float32)；没有全局 decoder 替换。CPU/H100 测试将官方 student 与独立 reference_21.WanVAE_(dim=24) 对照，覆盖 first/body cache、重复调用重置、encode/decode 和实际计数。架构与实现匹配不能代替 student-vs-teacher 视频质量门禁。

校准插件与独立 MHA 调度

新增能力默认关闭，安装与执行回执分别记录。通用数值实现放在 core/acceleration/quantization/ 和 core/attention/；Wan/SANA 图选择、checkpoint 与生命周期校验放在 base_models/diffusion_model/optimizations/。共享的 projection_selection.py 避免不同精度插件重复维护筛选规则，guards.py 统一固定权重生命周期保护。

MHA 投影的低精度调用和 dense fallback 分别统计；部分小 GEMM 可能由现有 provider 保留 dense。诊断要求每个请求配置的模块与投影都实际执行，量化投影不得有 dense/fallback 调用。不能仅凭配置名判断低精度 kernel 是否运行。

policy = RuntimePolicy(
    device="cuda", dtype=torch.bfloat16,
    options={"dit_weight_dtype": "bf16", "accelerations": {
        "optimized_mha": {
            "self": {"fusion": "qkv", "sdpa_backend": "torch"},
            "cross": {"fusion": "kv", "sdpa_backend": "torch"},
        },
    }},
)
# SVDQuant 单独评估，先生成绑定当前 checkpoint 的 artifact：
svd_options = {"svdquant": {"artifact": "/path/to/svdquant.pt"}}

校准 artifact 用 weights_only=True 加载，保存源参数 SHA256、张量结构、校准来源与实际调用计数；不匹配的权重或卷积 geometry 在修改前拒绝。SVDQuant 格式为 worldfoundry-svdquant-v1，不能直接载入 Nunchaku 的 packed checkpoint。INT4 权重只是 residual 分支；精度由低秩分支和量化分支共同决定。

PYTHONPATH=. python benchmarks/inference/calibrate_plugins.py svdquant \
  --assets "$ASSETS" --include 'blocks.*.ffn.0' 'blocks.*.ffn.2' \
  --rank 32 --frames 17 --out /tmp/calibration-new/svdquant.pt \
  --save-references /tmp/calibration-new/rgb
PYTHONPATH=. python benchmarks/inference/calibrate_plugins.py lightvae_fp8 \
  --checkpoint /path/to/lightvaew2_1.pth \
  --reference /tmp/calibration-new/rgb/calibration_11.pt /tmp/calibration-new/rgb/calibration_12.pt \
  --include 'model.encoder.*' 'model.conv1' --frames 17 \
  --out /tmp/calibration-new/lightvae-fp8.pt

校准使用 seed 11/12 的不同 prompt，测试使用独立 seed 42/43。LightVAE 的 fp8_calibration 可以传给 load_wan_video_codec，或放入 codec component options；共享 runtime 名称为 vae_fp8_calibration，且必须显式选择 variant="lightvae-wan21"。

benchmarks/inference/lightvae_fp8.py 比较相同 student checkpoint 的 FP32 与 FP8 encoder，公共 FP32 student decoder 解码两者。此实验只隔离量化误差，不替代前文的 student/teacher 质量对照。每个选中卷积必须实际执行。输入 clipping 数量作为量化诊断记录；有限值输出可以计时，同时单独记录质量是否达标。

PYTHONPATH=. python benchmarks/inference/lightvae_fp8.py \
  --checkpoint /path/to/lightvaew2_1.pth --artifact /path/to/lightvae-fp8.pt \
  --reference /path/to/reference_42.pt /path/to/reference_43.pt \
  --rounds 3 --out /tmp/lightvae-fp8-diagnostic-new

这三个插件均要求固定 placement、eval 和 eager inference；先卸载，再修改权重、加载 checkpoint 或迁移模型。MHA 与 FP8 codec 保留 canonical state dict；SVDQuant wrapper 启用期间禁止 canonical checkpoint 保存。现有 cache、compile、Graph 和 SP 的禁用规则继续生效。

Resident 双 expert EasyCache

原生 Wan2.2 routed denoiser 在首次 CFG 调用前准备不可变的完整 request schedule。单调 high-to-low schedule 将全局 step 映射到各 expert 的局部零起点 index 和 phase 长度，使 low-noise EasyCache 从零开始，warmup 与末尾 dense gate 按其自身 phase 计算。High/low 模型和 CFG branch 分别持有 residual 状态；非法 schedule、改变 timestep、重复或不连续调用、未完成 phase 都明确报错。

两个独立原生 WanDenoiser expert 必须都启用 EasyCache。支持 resident eager、dense 单 rank CFG（cfg_parallel_degree=1、cfg_gate_step=1.0），不组合其他 cache、Graph、compile、SP、近似 attention 或 inplace residual。原生 runner 自动 prepare/finalize schedule；直接调用 denoiser 时须先 prepare_request_schedule(request_id, schedule)，最后 end_request。本地测试覆盖路由、phase warmup/末尾 gate、CFG/request 隔离和异常释放；它们不能证明真实 A14B 生成质量或速度。

验证与性能测量

native_plugins.py 对原生 SANA/Wan 评估 candidate JSON；lightvae.py 比较 teacher/student decoder；lightvae_encoder.py 用公共 teacher decoder 比较两个 encoder；lightvae_fp8.py 比较相同 student 的 FP32/FP8 encoder。

诊断分别记录质量、实际执行和配对耗时。默认比较预算为 latent relative L2 ≤0.03、PSNR ≥33 dB、最低帧 SSIM ≥0.98。有效且输出有限的候选即使未达到这个预算，也会测量速度并标记 measured_quality_tradeoff；自动推荐仍要求质量达标与稳定收益。--quality-only 只测质量。

非有限输出、未实际执行的优化和共享 GPU 不产生有效速度结论。计时采用至少三轮交错配对，排除加载、安装和 JIT，并检查计时路径及输出与 pilot 一致。FP8 clipping 单独记录，不作为“内核未执行”的判据。

从已提交的工作树运行可复现实验。运行记录包含 Git revision、环境、配置及输入文件的大小和修改时间。输入文件变化仍会使实验失效；校准插件仍校验参数摘要。诊断不扫描其他模型的源码，也不重复读取整个 checkpoint 计算哈希。

PYTHONPATH=. python benchmarks/inference/native_plugins.py \
  --model wan2.1-t2v-1.3b --assets "$ASSETS" \
  --candidates /path/to/candidates.json --out /tmp/native-plugin-results
PYTHONPATH=. python benchmarks/inference/lightvae_encoder.py \
  --teacher /path/to/Wan2.1_VAE.pth --student /path/to/lightvaew2_1.pth \
  --reference /path/to/reference_42.pt --reference /path/to/reference_43.pt \
  --rounds 3 --out /tmp/lightvae-encoder-results

H100 实测

以下记录使用实现版本 183147e3，Wan1.3B、320×576、20 steps、CFG 6、shift 7、seed 42/43。百分比是加速比相对 1 的增幅。原始 JSON 包含质量指标、执行记录和配对时间。

SANA 原生 strides 的逐点融合保持两个种子输出逐位一致，测得 1.0051×/1.0015×；其中一个置信区间跨过 1，暂无稳定收益。SANA 记录。

当前限制

测量覆盖上述固定输入，尚未建立更广泛的生成质量结论。量化、缓存、稀疏注意力和轻量 encoder 的适用性需要结合实际用途检查；encoder-only 时间与完整生成时间分开比较。

原生插件的 cache/compile/Graph/SP 组合、Nunchaku checkpoint 格式和 FP8 TMA 仍需适配。现有不兼容检查保持生效；具体插件要求见配置表。保留的原模块用于卸载恢复，SVDQuant 当前不承诺整体权重显存下降。