随着大语言模型(LLM)在图像生成工作流(如 Prompt 增强、反推提示词)中的应用日益广泛,如何在有限的硬件资源下运行高质量模型成为了关键。Winnougan/Qwen-3.5-Abliterated-Comfyui-nvfp4 仓库提供了一套基于阿里通义千问 Qwen 3.5 架构的优化模型,特别适合希望在本地 ComfyUI 中实现高性能 AI 助手的用户。

1. 为什么选择这个版本?

  • 去审查(Abliterated): 模型经过特殊处理,减少了原版模型在回答某些敏感或创意性问题时的限制(Refusals),更适合自由度高的艺术创作。
  • 多量化版本: 提供了 nvfp4(NVIDIA FP4)和 fp8 版本。FP4 是针对 NVIDIA 40 系列及 30 系列显卡深度优化的超低比特量化,能在极小的显存占用下保持极高的模型智能。
  • ComfyUI 即插即用: 仓库内直接附带了工作流 .json 文件,无需繁琐配置即可在 ComfyUI 中作为 AI 助手或 Captioner(描述器)使用。

2. 8G 显存用户的黄金选择

对于拥有 8GB VRAM(如 RTX 3060Ti, 3070, 4060, 4060Ti)的用户,如何选择模型文件?

推荐方案 A:追求极致性能(9B 模型)

如果你希望 AI 的逻辑和理解能力更强,建议选择:

  • 文件: qwen3.5_9b_abliterated_nvfp4.safetensors
  • 大小: 8.36 GB
  • 建议: 虽然文件略大于 8GB,但在 ComfyUI 运行时,系统会自动将部分内容放入内存,或在使用 NVIDIA FP4 时进行显存压缩。这是 8G 显存能跑动的最高画质辅助模型。

推荐方案 B:平衡运行(4B 模型 - 强烈推荐)

如果你在运行 LLM 的同时还要运行 Flux.1 或 SDXL 等大型图像生成模型,4B 版本是最佳选择:

  • 文件: qwen3.5_4b_claude46opus_abliterated_nvfp4.safetensors (3.54 GB)
  • 优势: 极低的显存占用,运行速度极快,为图像生成预留了充足的显存空间,避免 OOM(显存溢出)。

3. 安装步骤

第一步:下载模型

从 Hugging Face 仓库中选择适合你的版本:

  1. 进入 Files and versions 页面。
  2. 下载对应的 .safetensors 文件(建议 8G 用户先下载 qwen3.5_4b_nvfp4.safetensors 测试)。
  3. 下载工作流文件:Qwen_3.5_AI_Assistant_Plus_Captioner.json

第二步:放置文件

将下载的 .safetensors 模型文件放入你的 ComfyUI 根目录下的模型文件夹中:

  • 路径:ComfyUI/models/llm_checkpoints/(如果文件夹不存在,请手动创建,或根据你使用的 LLM 插件要求放置在 checkpoints 目录下)。

第三步:配置 ComfyUI 节点

你需要安装支持 LLM 加载的插件,例如:

  • ComfyUI-Custom-Nodes 或常用的 ComfyUI-LLM-Nodes
  • 如果你使用的是最新的 GGUF 或 Standard 节点,确保你的插件版本已更新以支持 nvfp4 格式。

第四步:导入工作流

  1. 启动 ComfyUI。
  2. 将下载的 Qwen_3.5_AI_Assistant.json 或 Plus_Captioner.json 拖入浏览器窗口。
  3. 在 Load LLM Checkpoint 节点中选择你刚才下载的模型。

4. 关键文件说明

文件名类型说明
qwen3.5_9b_abliterated_nvfp4.safetensors9B 量化最强大,适合 8G 显存用户单开 LLM 或轻量生图。
qwen3.5_4b_nvfp4.safetensors4B 量化最流畅,8G 显存用户的全能搭档,适合复杂生图流。
Heretical-Qwen3.5-9B-fp8.safetensors9B FP8精度更高,但体积大(11.9GB),适合 12G/16G 显存用户。
Caption_God.png / Prompt_God.png示例仓库作者提供的提示词效果参考图。

5. 小贴士

  • FP4 优势: NVIDIA 用户应优先选择带 nvfp4 后缀的文件,这是目前 8G 显卡在保持模型智力的情况下,最省显存的方案。
  • 去审查特性: 请注意,虽然模型是 Abliterated(去审查)版本,但在生成内容时仍需遵守相关法律法规。

通过使用 Qwen 3.5 的这些量化版本,你的 8G 显存电脑现在也能变身为强大的本地 AI 工作站,在 ComfyUI 中流畅地进行对话、提示词润色和图像理解任务。

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。