随着大语言模型(LLM)在图像生成工作流(如 Prompt 增强、反推提示词)中的应用日益广泛,如何在有限的硬件资源下运行高质量模型成为了关键。Winnougan/Qwen-3.5-Abliterated-Comfyui-nvfp4 仓库提供了一套基于阿里通义千问 Qwen 3.5 架构的优化模型,特别适合希望在本地 ComfyUI 中实现高性能 AI 助手的用户。
1. 为什么选择这个版本?
- 去审查(Abliterated): 模型经过特殊处理,减少了原版模型在回答某些敏感或创意性问题时的限制(Refusals),更适合自由度高的艺术创作。
- 多量化版本: 提供了
nvfp4(NVIDIA FP4)和fp8版本。FP4 是针对 NVIDIA 40 系列及 30 系列显卡深度优化的超低比特量化,能在极小的显存占用下保持极高的模型智能。 - ComfyUI 即插即用: 仓库内直接附带了工作流
.json文件,无需繁琐配置即可在 ComfyUI 中作为 AI 助手或 Captioner(描述器)使用。
2. 8G 显存用户的黄金选择
对于拥有 8GB VRAM(如 RTX 3060Ti, 3070, 4060, 4060Ti)的用户,如何选择模型文件?
推荐方案 A:追求极致性能(9B 模型)
如果你希望 AI 的逻辑和理解能力更强,建议选择:
- 文件:
qwen3.5_9b_abliterated_nvfp4.safetensors - 大小: 8.36 GB
- 建议: 虽然文件略大于 8GB,但在 ComfyUI 运行时,系统会自动将部分内容放入内存,或在使用 NVIDIA FP4 时进行显存压缩。这是 8G 显存能跑动的最高画质辅助模型。
推荐方案 B:平衡运行(4B 模型 - 强烈推荐)
如果你在运行 LLM 的同时还要运行 Flux.1 或 SDXL 等大型图像生成模型,4B 版本是最佳选择:
- 文件:
qwen3.5_4b_claude46opus_abliterated_nvfp4.safetensors(3.54 GB) - 优势: 极低的显存占用,运行速度极快,为图像生成预留了充足的显存空间,避免 OOM(显存溢出)。
3. 安装步骤
第一步:下载模型
从 Hugging Face 仓库中选择适合你的版本:
- 进入 Files and versions 页面。
- 下载对应的
.safetensors文件(建议 8G 用户先下载qwen3.5_4b_nvfp4.safetensors测试)。 - 下载工作流文件:
Qwen_3.5_AI_Assistant_Plus_Captioner.json。
第二步:放置文件
将下载的 .safetensors 模型文件放入你的 ComfyUI 根目录下的模型文件夹中:
- 路径:
ComfyUI/models/llm_checkpoints/(如果文件夹不存在,请手动创建,或根据你使用的 LLM 插件要求放置在checkpoints目录下)。
第三步:配置 ComfyUI 节点
你需要安装支持 LLM 加载的插件,例如:
- ComfyUI-Custom-Nodes 或常用的 ComfyUI-LLM-Nodes。
- 如果你使用的是最新的
GGUF或Standard节点,确保你的插件版本已更新以支持nvfp4格式。
第四步:导入工作流
- 启动 ComfyUI。
- 将下载的
Qwen_3.5_AI_Assistant.json或Plus_Captioner.json拖入浏览器窗口。 - 在 Load LLM Checkpoint 节点中选择你刚才下载的模型。
4. 关键文件说明
| 文件名 | 类型 | 说明 |
|---|---|---|
qwen3.5_9b_abliterated_nvfp4.safetensors | 9B 量化 | 最强大,适合 8G 显存用户单开 LLM 或轻量生图。 |
qwen3.5_4b_nvfp4.safetensors | 4B 量化 | 最流畅,8G 显存用户的全能搭档,适合复杂生图流。 |
Heretical-Qwen3.5-9B-fp8.safetensors | 9B FP8 | 精度更高,但体积大(11.9GB),适合 12G/16G 显存用户。 |
Caption_God.png / Prompt_God.png | 示例 | 仓库作者提供的提示词效果参考图。 |
5. 小贴士
- FP4 优势: NVIDIA 用户应优先选择带
nvfp4后缀的文件,这是目前 8G 显卡在保持模型智力的情况下,最省显存的方案。 - 去审查特性: 请注意,虽然模型是 Abliterated(去审查)版本,但在生成内容时仍需遵守相关法律法规。
通过使用 Qwen 3.5 的这些量化版本,你的 8G 显存电脑现在也能变身为强大的本地 AI 工作站,在 ComfyUI 中流畅地进行对话、提示词润色和图像理解任务。
主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

评论(0)