在 AI 绘画和视频生成领域,DiT(Diffusion Transformer)架构的模型正变得越来越流行(如 Wan2.2, LTX-2, Qwen-Image 等),但其高昂的计算成本往往意味着更长的等待时间。

今天要介绍的开源项目 ComfyUI-CacheDiT,通过智能缓存技术,在几乎不损失画质的前提下,实现了 1.4倍至 2.0倍 的推理加速。最重要的是,它使用极其简单,无需复杂的配置。

项目地址GitHub - Jasonzzt/ComfyUI-CacheDiT

🚀 核心功能与亮点

  1. 显著的加速效果:根据模型不同,生成速度提升 1.4x - 1.6x,部分视频模型甚至可达 2.0x。
  2. 智能缓存策略:采用两层加速方法(主要使用 DBCache 算法,备选方案为轻量级直接前向钩子),自动适应不同架构。
  3. 零配置/低门槛:绝大多数情况下自动检测模型参数,无需手动调整阈值或预热步数。
  4. 显存优化:通过仅分离缓存(detach 而非 clone),节省 50% 的缓存张量内存,有效防止长序列生成时的 VAE 内存溢出(OOM)。
  5. 广泛的模型支持:特别针对最新的 Wan2.2 (万象) 和 LTX-2 视频模型进行了专项优化。

📊 加速效果实测

开发者对多款主流 DiT 模型进行了验证,数据如下:

模型名称任务类型步数加速倍率状态
LTX-2文生视频 / 图生视频202.0x
WAN2.2 14B文生视频 / 图生视频201.67x
Qwen-Image-2512图像生成501.4-1.6x
Z-Image-Turbo图像生成91.5x
Z-Image图像生成501.3x

🛠️ 快速安装指南

  1. 进入你的 ComfyUI 插件目录:cd ComfyUI/custom_nodes/
  2. 克隆仓库:git clone https://github.com/Jasonzzt/ComfyUI-CacheDiT.git
  3. 安装依赖:pip install -r requirements.txt

⚡ 如何使用(3种模式)

该插件设计非常直观,只需将优化器节点“串联”在模型加载与采样器之间即可。针对不同模型,有专门的节点以确保最佳效果:

1. 通用图像模型(Qwen-Image, Z-Image 等)

使用标准加速节点:

[Load Checkpoint] → [⚡ CacheDiT Accelerator] → [KSampler]

2. LTX-2 视频模型

为了保证视频的时间一致性,请务必使用 LTX 专用节点:

[Load Checkpoint] → [⚡ LTX2 Cache Optimizer] → [Stage 1 KSampler]

3. Wan2.2 14B (万象) 模型

由于 Wan2.2 采用混合专家(MoE)架构,包含高噪和低噪模型,每个专家模型都需要独立的优化器节点

[High-Noise Model] → [⚡ Wan Cache Optimizer] → [KSampler]
[Low-Noise Model] → [⚡ Wan Cache Optimizer] → [KSampler]

🧠 工作原理简析

ComfyUI-CacheDiT 的核心逻辑在于**“跳过重复计算”**。

在生成过程中,相邻步骤之间的特征残差往往非常相似。插件通过设定一个**“预热阶段(Warmup)”(例如前3-6步不缓存,建立基准)和“跳过间隔(Skip Interval)”**,在特定步骤直接复用上一多步的缓存结果,而不是重新计算。

逻辑伪代码:

# 预热阶段结束后
if (当前步数 - 预热步数) % 跳过间隔 == 0:
    计算新结果并更新缓存
else:
    直接复用缓存结果(跳过计算)

❓ 常见问题 (FAQ)

Q: 会影响画质吗?
A: 在默认配置下,影响微乎其微。插件通过预热阶段建立稳定的基线,并采用保守的跳过间隔来防止伪影产生。

Q: 性能仪表盘显示缓存命中率为 0%?
A: 可能原因:

  1. 生成总步数太少(小于10步),导致还没过“预热期”就结束了。
  2. 模型未正确识别,尝试手动选择预设。

Q: 为什么针对 LTX-2 和 Wan2.2 要用专用节点?
A:

  • LTX-2 包含双潜在路径(视频+音频),专用节点能更好地处理时间一致性。
  • Wan2.2 是 MoE 架构,专用节点支持高噪/低噪分离处理,且不仅是标准 CacheDiT 的简单套用。

总结:如果你正在使用 ComfyUI 跑 Wan2.2 或 LTX-2 等高显存消耗的 DiT 模型,ComfyUI-CacheDiT 是一个必备的“免费午餐”式插件——安装简单,提速明显,且不牺牲画质。

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。