
更多AI前沿科技资讯,请关注我们:
【closerAI ComfyUI】AI换装再增新成员!高效与质量并存!高保真虚拟试穿,节,自动判别衣物长短,高清直出!
大家好,我是Jimmy。AI绘画赋能电商服装行业,之前也出了很多相关的工作流,关于换装的。这不,新年刚来,又增加一个新成员,它能推进高保真虚拟试穿的真实服装细节。
FitDiT——服装感知增强技术介绍
论文地址:https://byjiang.com/FitDiT/
项目官方地址:https://github.com/BoyuanJiang/FitDiT/
comfyUI实现项目地址:https://github.com/BoyuanJiang/FitDiT-ComfyUI

图像基础的虚拟试衣(VTON)技术的相关项目之前已经有介绍不少,最为能用的是catvton项目,能够生成穿着特定服装的人体图像,从而增强购物体验。
然而,现有的虚拟试衣方法在复杂纹理细节的保持和服装尺寸适配方面仍存在挑战,例如难以准确再现服装的复杂纹理、图案和文字,以及在跨类别或尺寸不匹配的情况下生成不合适的服装。它核心要解决的是保持服装纹理和服装尺的问,所以称为服装感知增强。
FitDiT 技术介绍:FitDiT 是一种基于扩散变换器(Diffusion Transformers,DiT)的虚拟试衣技术,通过以下创新方法解决现有技术的局限性:
1)纹理细节增强:引入服装纹理提取器,结合服装先验知识进化策略,优化服装特征提取,更好地捕捉细节(如条纹、图案、文字等)。提出频率域学习方法,通过定制频率距离损失函数,增强高频服装细节的生成。
2)尺寸适配性改进:提出膨胀松弛掩码策略(dilated-relaxed mask),通过调整掩码的长度和宽度,避免服装形状信息泄露,提升模型对服装整体形状感知力,其在跨类别试衣时表现出色。
3)模型架构优化:定制 DiT 架构,去除不必要的文本编码器,节省参数并提升训练和推理速度。通过结构瘦身、服装条件调制和特征注入等技术,优化模型对高分辨率特征的关注。
几个优点:
1、高效,生成速度快,我4060TI 8G 30秒左右;
2、自动判断衣服长短。
3、相对其它技术,它能生成高清细节的衣物细节;
FitDiT体验
打开https://github.com/BoyuanJiang/FitDiT-ComfyUI 链接。
安装如下
节点下载方法:下载或克隆FitDiT-ComfyUI分支的repo并将其放置在ComfyUI/custom_nodes/目录下。
模型的下载方法:下载FitDiT模型并将其放在ComfyUI/models/FitDiT_models目录中,clip-vit-large-patch 14和CLIP-ViT-bigG-14并将其放在ComfyUI/models/clip目录中。
打开我们搭建好的工作流,拖入comfyUI中。
closerAI fitdit换装与多节点换装对比工作流
closerAI fitdit换装工作流如下:
主要有FitDit模块的换装,同时加上catvton的换装节点进行对比。如下图示:

测试图像

测试衣服

以下是fitdit生成结果:


以下是catvton的生成结果:


以下是其它测试结果:

以上是closerAI团队制作的stable diffusion comfyUI closerAI开发的 closerAI fitdit换装与多节点换装对比工作流介绍,大家可以根据工作流思路进行尝试搭建。
当然,也可以在我们closerAI员站上获取对应的工作流。
主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
评论(0)