本地推理必备。安装节点,安装依赖,模型让它自动下载。
🛠️ ComfyUI-QwenVL GGUF 专项安装手册
ComfyUI-QwenVL https://github.com/1038lab/ComfyUI-QwenVL项目的 GGUF 版支持是通过 llama-cpp-python 后端实现的。相比原生的 Transformers 版本,GGUF 版本通常更节省内存(VRAM),适合配置较低的显卡。
GGUF 版本的详细安装与使用指南:
使用 GGUF 节点前,必须确保你的环境支持视觉推理。请按以下步骤操作:
1. 核心依赖:安装视觉版 llama-cpp-python
官方的 llama-cpp-python 不支持 Qwen 的视觉逻辑,必须使用包含 Qwen3VLChatHandler 的特殊版本。
- 第一步:关闭 ComfyUI(特别是 Windows 便携版,必须完全退出)。
- 第二步:确定 Python 路径
- Windows 便携版:路径通常为
ComfyUI\python_embeded\python.exe。 - 虚拟环境 (Venv/Conda):请激活环境后使用
python。
- Windows 便携版:路径通常为
- 第三步:下载并安装 Wheel 文件
前往 JamePeng/llama-cpp-python/releases 下载符合你系统条件的.whl文件:- Python 版本:匹配
cp310,cp311或cp312。 - 硬件支持:显存充足选 CUDA (cuXXX),否则选 CPU。
- Python 版本:匹配
- 第四步:强制安装
使用以下命令安装(将路径替换为你实际下载的文件路径):# Windows 便携版示例 .\python_embeded\python.exe -m pip install --upgrade --force-reinstall C:\path\to\llama_cpp_python-xxx.whl
2. 环境验证
安装完成后,必须运行以下代码检查视觉处理器是否可用:
python -c "from llama_cpp.llama_chat_format import Qwen3VLChatHandler, Qwen25VLChatHandler; print('Handlers OK')"
注意:如果报错,说明安装的 Wheel 版本不对或安装到了错误的 Python 环境中。
3. 常见冲突修复 (Windows 必备)
安装新库可能会导致 numpy 等基础库版本冲突,若 ComfyUI 启动报错,请执行:
- 修复 OpenCV 冲突(解决 numpy 版本过高问题):
python -m pip install --upgrade "numpy<2.3" - 修复 Pillow 冲突:
python -m pip install --upgrade "pillow<12"
📂 GGUF 模型配置指南
GGUF 节点需要两个文件配合使用,请手动放置:
| 文件类型 | 存放路径 | 示例文件名 |
|---|---|---|
| LLM 主体 (.gguf) | ComfyUI/models/llm/GGUF/ | Qwen3VL-4B-Instruct-Q4_K_M.gguf |
| 视觉组件 (mmproj) | ComfyUI/models/llm/GGUF/ | mmproj-Qwen3VL-4B-Instruct-F16.gguf |
💡 提示:如果你的目录结构不同,可以在插件根目录的
gguf_models.json文件中修改gguf_model_path指向你的模型夹。
🧭 GGUF 节点使用流程
- 添加节点:在 ComfyUI 搜索
QwenVL (GGUF)或QwenVL (GGUF Advanced)。 - 加载模型:在节点中选择已下载的模型。
- 连接图像:将
IMAGE输入连接到视觉节点。 - 显存调优 (Advanced 节点):
- n_gpu_layers:将尽可能多的层数加载到 GPU(设为
-1为全部加载)。 - context_length:根据任务调节,描述长视频时需增加此值。
- n_gpu_layers:将尽可能多的层数加载到 GPU(设为
主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

评论(0)