更多AI前沿科技资讯，请关注我们：
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】黑马？字节跳动开源DreamFit，一个轻量级服装为中心的人体生成模型，电商服装、换装、虚拟试穿的新尝试，效果到底如何？一起看下！
大家好，我是Jimmy。换装一直是comfyUI中的一个被重点关注的效果，现阶段，我们能通过flux生态下的四重控制万物迁移来实现非常不错的换装效果：
【closerAI ComfyUI】重磅更新！FLUX复制能力再次提升！万物迁移效果史诗级加强！这波一定要接住，必须收藏学习起来
这是一个接近完美的解决方案。
不过，最近字节又整活，以服装为中心开源推出DreamFit，一个轻量级服装为中心的人体生成模型。
DreamFit：轻量级服装为中心的人体生成模型
DreamFit是由字节跳动团队开发的一个创新性项目，专注于通过轻量级的编码器实现服装为中心的人体生成。旨在解决现有方法在轻量化和泛化能力之间的权衡问题。DreamFit的核心目标是通过轻量级模型实现高质量的服装为中心的人体生成。与传统的基于扩散模型的方法相比，DreamFit在保持生成质量的同时显著降低了模型的复杂度。
项目的主要贡献包括：
- 轻量化训练：通过引入自适应注意力和LoRA模块，DreamFit将模型参数减少到8340万，大大降低了计算成本。
- 多场景适应：模型能够泛化到各种服装类型、创意风格和提示指令，确保在不同场景下的一致性表现。
- 即插即用：DreamFit设计为与任何社区控制插件无缝集成，简化了模型的部署和使用。
技术实现
DreamFit采用了LoRA层构建的Anything-Dressing Encoder，通过提取参考图像特征并将其传递到去噪UNet中，实现了高效的服装生成。此外，项目还集成了大型多模态模型（LMM），以丰富提示信息，减少训练和推理之间的文本提示差距。
模型架构
DreamFit的模型架构主要包括以下几个部分：
- Anything-Dressing Encoder：利用LoRA层提取参考图像特征。
- 自适应注意力机制：将提取的特征传递到去噪UNet中，确保生成过程的高效性和准确性。
- 大型多模态模型集成：在推理过程中引入LMM，提升生成质量。
推理与生成
DreamFit支持多种生成模式，包括基于FLUX版本、StableDiffusion1.5版本、姿态控制和试穿功能。
DreamFit在768×512高分辨率基准测试和野外图像上进行了广泛的实验，结果表明其在服装为中心的人体生成任务中超越了所有现有方法。项目展示了其在不同场景下的强大泛化能力和高质量生成效果。
comfyUI中的实现
目前暂时没有开源comfyUI节点,但已经有RH版本的实现，下面我们使用RH版搭建一个工作流体验下效果，后续开源节点后将补充介绍。
试穿功能体验：基于服装的人体生成。也就是我给一张参考图，识别图中的衣服，生成对应模特上装的效果。
我们尝试多件服装：
带姿势的参考生图：目前项目暂未开源这个功能，以下上这个项目给出的示例
目前来看，新技术嘛，需要迭代，因为基于512*768，目前结果来看是有很大提升高空间。可持续跟进项目进展。
本地算力不够怎么办？
如果本地设备算力不好的小伙伴，推荐使用线上comfyUI来运行体验：runninghub.cn
runninghub.cn dreamFIT 换装、服装模特生成体验地址：
注册地址：https://www.runninghub.cn/?utm_source=kol01-RH151
通过这个链接第一次注册送1000点，每日登录送100点
最后几句：
DreamFit的轻量化和高效性使其在多个领域具有广泛的应用前景，包括时尚设计、虚拟试衣、游戏角色生成等。其即插即用的设计也使得开发者可以轻松集成到现有的扩散模型工作流中，进一步拓展其应用场景。
DreamFit通过其创新的轻量级编码器和多模态集成策略，为服装为中心的人体生成任务提供了新的解决方案。其高效的训练过程和卓越的生成质量使其成为该领域的领先技术之一。随着技术的进一步发展和优化，DreamFit有望在更多实际应用中发挥重要作用。
以上是DreamFit的介绍的全部内容。
更多资讯可以关注我们closerAI会员站。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
>/ 作者：JimmyMo
更多AI前沿科技资讯，请关注我们：
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
暂无comfyUI开源节点实现。开源后第一时间补充。
主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网
评论(0)