ComfyUI

ComfyUI Wan2.2 Fun Camera Control 相机控制视频生成工作流示例

Wan2.2-Fun-Camera-Control 是 Alibaba PAI 团队推出的新一代视频生成与相机控制模型，通过引入创新性的相机控制代码（Camera Control Codes）机制，结合深度学习和多模态条件输入，能够生成高质量且符合预设相机运动条件的视频。该模型采用 Apache 2.0 许可协议发布，支持商业使用。
核心功能：

  • 相机运动控制：支持多种相机运动模式，包括 Pan Up（向上平移）、Pan Down（向下平移）、Pan Left（向左平移）、Pan Right（向右平移）、Zoom In（放大）、Zoom Out（缩小） 等，同时支持组合运动控制
  • 高质量视频生成：基于 Wan2.2 架构，输出影视级质量视频

下面是相关模型权重和代码仓库：

​

Wan2.2 Fun Camera Control 相机控制视频生成工作流示例

请确保你的 ComfyUI 已经更新。

本指南里的工作流可以在 ComfyUI 的工作流模板中找到。如果找不到，可能是 ComfyUI 没有更新。如果加载工作流时有节点缺失，可能原因有：

  1. 你用的不是最新开发版（nightly）。
  2. 你用的是稳定版或桌面版（没有包含最新的更新）。
  3. 启动时有些节点导入失败。

这里提供的工作流包含了两个版本：

  1. 使用了 lightx2v 的 Wan2.2-Lightning 4 步 LoRA : 但可能导致生成的视频动态会有损失，但速度会更快
  2. 没有使用加速 LoRA 的 fp8_scaled 版本

下面是使用 RTX4090D 24GB 显存 GPU 测试的结果 640*640 分辨率， 81 帧长度的用时对比

模型类型 分辨率 显存占用 首次生成时长 第二次生成时长
fp8_scaled 640×640 84% ≈ 536秒 ≈ 513秒
fp8_scaled + 4步LoRA加速 640×640 89% ≈ 108秒 ≈ 71秒

由于使用了4 步 LoRA 对于初次使用工作流的用户体验较好， 但可能导致生成的视频动态会有损失， 我们默认启用了使用了加速 LoRA 版本，如果你需要启用另一组的工作流，框选后使用 Ctrl+B 即可启用

​

1. 工作流及素材下载

下载下面的视频或者 JSON 文件并拖入 ComfyUI 中以加载对应的工作流，工作流会提示下载模型

下载 JSON 格式工作流


请下载下面的图片，我们将作为输入。
输入起始图片

​

2. 模型链接

下面的模型你可以在 Wan_2.2_ComfyUI_Repackaged 找到
Diffusion Model

Wan2.2-Lightning LoRA (可选，用于加速)

VAE

Text Encoder

File save location

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​

3. 按步骤完成工作流

Wan2.2 Fun Camera Control 工作流步骤

这个工作流是使用了 LoRA 的工作流，请确保对应的 Diffusion model 和 LoRA 是一致的, high noise 和 low noise 的模型和 LoRA 需要对应使用
  1. High noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  1. Low noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  1. 确保 Load CLIP 节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
  2. 确保 Load VAE 节点加载了 wan_2.1_vae.safetensors 模型
  3. 在 Load Image 节点上传起始帧
  4. 修改 Prompt 使用中英文都可以
  5. 在 WanCameraEmbedding 节点设置相机控制参数：
    • Camera Motion: 选择相机运动类型（Zoom In、Zoom Out、Pan Up、Pan Down、Pan Left、Pan Right、Static 等）
    • Width/Height: 设置视频分辨率
    • Length: 设置视频帧数（默认81帧）
    • Speed: 设置视频速度（默认1.0）
  6. 点击 Run 按钮，或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频生成

主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网