更多AI前沿科技资讯，请关注我们：
closerAIGCcloserAI，一个深入探索前沿人工智能与AIGC领域的资讯平台，我们旨在让AIGC渗入我们的工作与生活中，让我们一起探索AIGC的无限可能性！ 7篇原创内容 公众号
产品经理逛世界一只在互联网PM浪迹多年的吉米猫，希望与大家一起分享，一起成长，一起用发现的眼光看世界，用一颗产品心分析世间万物。个人资源分享网站：www.douyoubuy.cn 944篇原创内容 公众号
【closerAI ComfyUI】deepseek janus加上flux强强联合，高效生图，让想法更好地呈现，推荐学习！
大家好，我是Jimmy。最近一个月deepseek是火热般的存大，几乎全渠道无人不知，所以这期不是关于deepseek的本地部署，本地能部署的deepseek大语言模型都是玩玩的，要真正发挥它的价值老实点使用大平台部署的满血版或直接在官方上的，这期我们一起关注和体验deepseek最近推出的统一的多模态理解和视觉生成模型——janus pro。目前已有comfyUI版本。
DeepSeek Janus Pro
DeepSeek Janus Pro 是一款开源的多模态模型，能够在 ComfyUI 中实现图像理解和生成。可以同时进行多模态理解和图像生成任务。它共有2个参数量版本，Janus-Pro-1B 及 Janus-Pro-7B。
以下是相关链接：
官方仓库：https://github.com/deepseek-ai/Janus
comfyUI实现：https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro
特点：
- 理解与生成一体化：Janus Pro 是业界首个理解-生成一体化架构的大模型，能够同时进行图像理解和生成，大大降低了部署成本。
- 多语言支持：该模型支持多种语言的输入和输出，包括中文、英文、日语等，用户可以根据需要在提示词中指定特定语言。
- 强大的反推能力：在图像反推（即从图像生成描述）方面表现出色，能够准确地理解图像内容并生成相应的描述。
所以，janus在图像理解方面能力很强，但目前生成图像分辨率太低，根本无法入眼，所以我们可以充分利用它图像理解的能力来实现提示词生成。1B版本我测试过，是很高效，效果也不错。是comfyUI中使用大语言模型的最优替代方案。
comfyUI DeepSeek Janus Pro
安装与体验
安装 ComfyUI-Janus-Pro 插件
要在 ComfyUI 中使用 DeepSeek Janus Pro，首先需要安装 ComfyUI-Janus-Pro 插件。
安装方法如下：
通过 ComfyUI Manager 安装（推荐）：安装 ComfyUI-Manager 后，在管理器中搜索 “Janus-Pro”，点击安装即可。
手动安装：将 ComfyUI-Janus-Pro 插件的仓库克隆到 ComfyUI 的 custom_nodes 文件夹中，然后安装相关依赖。地址如下，可手动下载：
打开地址：https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro
下载节点，解压放置comfyUI节点文件夹中
安装依赖：
# 如果你使用ComfyUI便携版
cd ComfyUI-Janus-Pro
..\..\..\python_embeded\python.exe -m pip install -r requirements.txt
# 如果你使用自己的Python环境
cd ComfyUI-Janus-Pro
path\to\your\python.exe -m pip install -r requirements.txt
这里说说我的安装心得，大家少踩坑，直接在ComfyUI-Janus-Pro文件目录中，右键打开终端。然后输入命令：pip install -r requirements.txt
执行完，重启comfyUI后，大概率是还会提示错误的，为什么？因为你要下载janus下载来。
下载后解压放到ComfyUI-Janus-Pro节点文件夹中。如下图示：
然后再执行pip install -r requirements.txt 。基本就可以了。
ComfyUI-Janus-Pro 体验
拖入我们closerAi开发的closerAI janus+flxu生图工作流
工作流主要利用了janus的问答与理解能力。
主要用它完成提示词的生成。为什么不用别的？别的LLM加载过程太慢，像我的4060ti 8G 显卡，很吃力，基本没有显存再往下执行flux生图了。
但是，janus pro 解决了这个问题，既能理解图像，同时又有语义能力。所以非常适合生成提示词。
如下图示：哪吒的图片，以前的LLM或者反推模型是直接将图片中所有内容描述出来。当然这很好，但是呢，有时候在生产图片时，我们仅仅是想要图片中的局部描述。像以下例子，我让janus pro,仅描述图像中人物的服装与姿势。
你的任务是描述图片中的衣服和人物姿势的细节并将反推出来的服装和人物姿势描述用在以下提示词中：“一个中国22岁美女｛衣服的描述｝，姿势是｛姿势的描述｝”
然后它返回结果是：
“一位22岁的中国美女穿着一件设计复杂的传统服装，包括一件红棕色的汉服，上面有金色的口音和花卉图案，以及一个用红色丝带装饰的配套头饰。她自信地站着，散发着优雅和文化底蕴。她的服装是由匹配的黄金手镯和华丽的脚踝带悬垂补充。角色的俏皮表情，带着灿烂的笑容和微微扬起的眉毛，为场景增添了一种动态和活泼的存在感。 POESTING是一种自信和前倾的姿势，她的手臂伸展，手掌朝上，微微分开，好像她要表演一个动作或舞蹈。她的脚被放置在岩石地形上，火焰吞没了她下面的岩石，创造了一个戏剧性和神秘的气氛。”
它成功地将衣服和姿势，应用到新的人物当中，形成新的提示词。
我们先看janus生图结果：
janus生图真是惊吓。
然后我通过这个结果，接入到flux生图中。
得出了以下flxu生图结果：
当然，我这里用到的janus pro 是 1B的版本。毕竟我显存才8G，如果运行7B版本，需要至少16G显存。大家根据情况来下载。模型我已打包好放我们会员模型库中，会员自行提取。
我们closerAI开发的这个工作流，主要应用janus图像理解形成新的提示词，然后接入flux生图。这样，就高效解决了自动提示词部分。这种能力应该是之前的大模型不具备的能力，但janus pro虽然生图能力不强，但理解和文本生成能力强。充分利用，高效输出！这才是AI作为工具带来的赋能吧。
以上是janus pro 的介绍、安装、体验以及closerAI团队制作的stable diffusion comfyUI closerAI开发的closerAI janus+flxu生图工作流工作流介绍，大家可以根据工作流思路进行尝试搭建。
当然，也可以在我们closerAI会员站上获取对应的工作流。
更多AI前沿科技资讯，请关注我们：
closerAIGCcloserAI，一个深入探索前沿人工智能与AIGC领域的资讯平台，我们旨在让AIGC渗入我们的工作与生活中，让我们一起探索AIGC的无限可能性！ 7篇原创内容 公众号
产品经理逛世界一只在互联网PM浪迹多年的吉米猫，希望与大家一起分享，一起成长，一起用发现的眼光看世界，用一颗产品心分析世间万物。个人资源分享网站：www.douyoubuy.cn 944篇原创内容 公众号
主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网
评论(0)