更多AI前沿科技资讯，请关注我们：
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】太棒了！超高速修图解决方案！IC-Edit+nunchaku应该是目前图像编辑领域最优解！冲！
大家好，我是Jimmy。随着生成式AI的快速发展，基于自然语言指令的图像编辑技术成为数字创作领域的核心需求。然而，现有方法在精度与效率之间始终存在难以调和的矛盾：
- 传统微调方法依赖海量数据和算力，训练成本高昂；
- 零样本编辑技术（如Prompt-to-Prompt）则受限于指令理解能力和编辑质量。
浙江大学与哈佛大学联合团队针对这一痛点，提出ICEdit（In-Context Edit）框架，通过融合大规模扩散变换器（Diffusion Transformer, DiT）的生成潜力与上下文感知机制，实现了轻量化、高精度、强泛化的图像编辑解决方案。
ICEdit：基于大规模扩散变换器的上下文图像编辑框架
——开启高效精准的AI图像编辑新时代
论文地址：https://river-zhang.github.io/ICEdit-gh-pages/
项目仓库：https://github.com/River-Zhang/ICEdit?tab=readme-ov-file
模型下载地址：https://huggingface.co/sanaka87/ICEdit-MoE-LoRA
ICEdit的核心创新
1. 上下文驱动的零样本编辑范式
ICEdit摒弃传统模型微调模式，直接利用扩散变换器（DiT）的上下文感知能力完成编辑任务：
- 输入形式：用户仅需提供原始图像与自然语言指令（如“将背景改为夜晚”），模型通过双联图像对（源图+目标图）的上下文提示生成编辑结果。
- 技术优势：无需修改网络结构，避免重复训练，显著降低计算开销。
2. LoRA-MoE混合调优策略
为实现高效参数适配，ICEdit采用低秩适配器（LoRA）与混合专家网络（MoE）的协同机制：
- LoRA适配：仅用1%可训练参数（约2亿参数量）实现局部更新，相比全量微调节省99%算力；
- 动态路由机制：通过MoE网络动态激活任务特定专家模块，提升复杂编辑任务的鲁棒性。
- 数据效率：仅需5万张公开数据集（0.1%常规训练量）即可达到SOTA性能。
3. 推理时缩放策略（Early Filter Scaling）
在生成过程中，ICEdit引入视觉-语言模型（VLM）对初始噪声进行筛选：
- 早期优化：通过VLM评估初始噪声的语义一致性，选择高质量噪声作为生成起点；
- 效果提升：显著减少迭代次数，加速收敛，单图处理时间压缩至约9秒（同类方法需数十秒至数分钟）。
应用场景与价值
ICEdit凭借其高效性与灵活性，可广泛应用于以下领域：
- 创意设计：快速生成插画、海报、动漫角色；
- 影视制作：智能修复画面瑕疵、调整场景光照与构图；
- 社交媒体：用户一键美化照片、创作个性化头像；
- 工业设计：辅助产品设计迭代与可视化原型生成。
项目意义与未来方向
ICEdit通过轻量化设计与上下文感知技术，重新定义了图像编辑的效率边界：
- 学术贡献：首次验证大规模扩散模型在零样本编辑中的潜力，为AIGC研究开辟新路径；
- 产业价值：为边缘设备部署（如手机端实时修图）提供技术可行性；
- 未来规划：扩展多模态支持（如视频编辑）、优化长文本指令处理能力。
ICEdit在comfyUI中的实现
下载官方LORA：439MB
这个官方的LORA，大概率是运行不起来的，因为它是
但社区中有大神已做了调整，提供了两个版本的优化后的LORA：
https://huggingface.co/aha2023/average_MOE_ICEdit-MoE-LoRA/tree/main
如上图示，上面一个是适用于与nunchaku一起加载使用的。下面是优化后的。如果搭配错误会报错。
我们基于这些内容，closerAI团队搭建了closerAI nunchaku+ICEdit图像编辑工作流,这是nunchaku加持下的高速编辑工作流。如果不想使用nunchaku,直接使用unet加载器，加载fill模型。
以下是closerAI nunchaku+ICEdit图像编辑工作流全貌：
工作流思路：
1）先进行图像处理：组合图像与遮罩图，用于fill重绘
2）nunchaku的设置如图示：
加载LORA：使用其它会报错。用截图这个。
主要是以上的板块。
然后我们加入了三种放大方式：模型放大、upscaler放大和kl_optimal修复放大。人物有时候会变化，用kl_optimal放大后换脸
以下是测试ICEdit的图像编辑能力结果：
1、戴上墨镜：
2、衣服换成绿色：
3、换成吉卜力风格：
4、改物体：手里拿着榴莲
5、换衣服：换成牛仔外套
还能编辑以下内容，这里不展开了：
编辑任务提示词，例如转换风格、修改服装颜色、增加装饰等。
示例：
风格转换：convert the image into anime illustration
更一致的风格转换，增加对原图的描述：convert the image into anime illustration and maintain shirt be pink,hair be brown,
修改服装颜色：change the pink shirt to blue shirt
修改服装类型：change the pink shirt to blue suite
小幅度修改姿态：make the girl eyes closed
修改物品：change the glasses to sunglasses
增加物品：This girl wears a white watch
移除物品：remove picture on the wall
去除文字：remove the text "from aha"
去除水印：remove the white watermark
增加水印：add a blue watermark "from aha" on the wall
修改背景：girl is on the beach,colorful cloud in the sky
本地算力不够怎么办？
如果本地设备算力不好的小伙伴，推荐使用线上comfyUI来运行体验：runninghub.cn
runninghub.cn IC-Edit图像编辑(稳定\高效)体验地址：
https://www.runninghub.cn/ai-detail/1919022587660140546
注册地址：https://www.runninghub.cn/?utm_source=kol01-RH151
通过这个链接第一次注册送1000点，每日登录送100点
最后几句：
IC-Edit图像编辑提供了一个高效、轻量的解决方案，结合Nunchaku，实现超高速的P图，同时达到很好的效果，相信这是目前图像编辑的最优解，当然也有提升空间。
以上是Ic-Edit图像编辑的介绍、安装与体验，以及closerAI团队制作的stable diffusion comfyUI closerAI nunchaku+ICEdit图像编辑工作流介绍，大家可以根据工作流思路进行尝试搭建。
当然，也可以在我们closerAI会员站上获取对应的工作流(查看原文)。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
>/ 作者：JimmyMo
更多AI前沿科技资讯，请关注我们：
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网
评论(0)