DreamFast/Qwen3-VL-4b-Heretic-GGUF 项目的介绍：

1. 项目核心概述

这是一个经过特定量化处理的开源人工智能模型项目。它是基于 Qwen3-VL-4B-Instruct 模型构建的，通过“异教徒（Heretic）”技术进行了特殊的安全设置移除处理（即所谓的“无删减/Uncensored”版本）。

2. 核心特性

  • 无删减/移除安全约束： 该模型移除了原始模型中的安全设置，能够响应包括暴力、非法活动在内的各种有害请求。作者声明该模型仅供研究使用，不鼓励将其用于有害用途。
  • 高对抗指标： 根据项目介绍，该模型在 HarmBench ASR（攻击成功率）测试中达到了 100%，远高于原始模型的 30.8%，这意味着其内容过滤机制已被完全解除。
  • GGUF 格式优化： 该模型以 GGUF 格式发布，专门为 llama.cpp 生态系统及本地推理环境进行了优化，方便在个人计算机上运行。

3. 模型版本与量化

项目提供了多种量化版本，以适应不同显存容量的硬件设备：

  • 建议平衡版： Q4_K_M (2.4 GB)，在画质与性能之间取得了最佳平衡，适合大多数用户。
  • 高质量版： Q6_K 或 Q8_0，适合显存充足且追求接近原始 bf16 质量的用户。
  • 低显存版： Q3_K_M，仅在显存非常紧张（如 8GB 显存设备）时使用，会有明显的画质下降。
  • 参考标准： F16，作为无损参考标准。

4. 技术兼容性

该模型主要面向文本推理路径，支持以下主流工具：

  • 推理工具： llama.cpp (CLI 及 Server)、Ollama、LM Studio、vLLM。
  • 集成平台： Unsloth Studio、Pi、Hermes Agent、OpenClaw、Lemonade。
  • ComfyUI： 通过 ComfyUI-GGUF 插件可以使用。
  • 注意事项： 网页特别提醒，该 GGUF 构建主要针对文本路径；若需完整的 Qwen3-VL 视觉支持，作者建议使用 bf16/transformers 代码库或 ComfyUI 专用检查点。

5. 性能权衡

在解除安全设置的同时，该模型保留了绝大部分基础能力：

  • MMLU 得分基本保持不变（约 69.6%）。
  • GSM8K（数学能力）有极微小的下降（约 -1.83%）。
  • 局限性： 受限于去除安全过滤的处理，该模型在 TruthfulQA（真实性测试）和 GSM8K 上的性能表现弱于原版模型。

总结： 这是一个专门为本地运行、且旨在消除原版模型安全“对齐”限制的轻量级（4B参数）视觉-语言模型，非常适合对内容审查有特殊需求且需要在本地硬件上进行部署的研究者或开发者。

项目地址：https://huggingface.co/DreamFast/Qwen3-VL-4b-Heretic-GGUF

主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。