更多AI前沿科技资讯，请关注我们：closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】新王登场！角色替换、动作迁移的新解决方案：智谱开源SCAIL-2，让AI角色动画真正“活”起来！效果炸裂！
大家好，我是Jimmy。
最近开源界项目很多，活力满满，最近智谱开源了一个项目，这不是新项目，之前就出了第一个版本，现在全面升级，能实现角色替换、动作迁移、支持单人、多人且一致性超强，效果很炸裂，这个项目就是：SCAIL-2
SCAIL-2：端到端的角色动画
SCAIL-2 的最大亮点是端到端（End-to-End）控制。你给它一张参考角色图，再扔一段驱动视频（可以是真人、动画、甚至动物动作），模型就能直接把动作迁移过去，不需要任何显式的姿态中间表示。
它是怎么做到的？团队用之前几个开源模型（包括他们自己的 SCAIL-Preview、Wan-Animate、MoCha）合成了一个 60K 的运动对数据集，然后设计了一个统一的运动迁移接口，加上特定的掩码通道和 RoPE 设计，让模型在训练时同时吃下各种任务的数据。还用了“反向驱动”的训练技巧，让模型学到比原模型更强的能力。
结果就是几个涌现能力：
- 跨身份角色替换（把一个人换成另一个人，动作自然衔接）
- 动物驱动（狗的动作驱动猫的角色，或者更离谱的）
- 多角色场景支持
- 零样本适应更高级的控制信号（比如 SAM3D-Body 的网格渲染）
这已经不是简单的“姿态跟随”了，更像是让模型真正理解了“这个角色该怎么动”。
comfyUI中的体验
目前项目已开源，在开源社区引起热议，且快速支持。目前KJ已支持。
目前本地跑会很吃力。因为还没有GGUF版本出来。但是可以在RH上跑。如果本地设备条件允许可以直接下载模型和工作流直接本地跑即可。
我整理了下工作流，主要分角色替换与动作迁移两个流。
左边是角色替换，右边是动作迁移。
工作流主要模块说明：
1、模型加载，如下图所示，
2、加载区，加载视频与参考图
3、遮罩处理，视频与参考图进行人物的遮罩处理。
其中，下图节点中，根据实际情况选择视频与参考图的人数，1个就填1，两个就填2，如此类推。开始顺序的方式也是根据素材情况选择。
然后是主要的更新的节点：WanSCAILToVideo
然后工作流其它参数不变。当然帧数长度是根据情况设置的。然后是模式。如下图所示，替换模式打开，则是进行角色替换，关闭则是动作迁移。
以下是角色替换工作流：
以下是动作迁移工作流：
总结：
超级完美的角色替换与动作迁移解决方案。
会员小伙伴可在小站上下载本期工作流、优化节点、模型。
我在RH上发布了应用，大家可以上去体验下
本地算力不够怎么办？
如果本地设备算力不好的小伙伴，推荐使用线上comfyUI来运行体验：runninghub.cn
本地算力不够怎么办？
如果本地设备算力不好的小伙伴，推荐使用线上comfyUI来运行体验：runninghub.cn
SCAIL2 角色替换应用体验地址：
SCAIL2 动作迁移应用体验地址：
注册地址：https://www.runninghub.cn/?utm_source=kol01-RH151
通过这个链接第一次注册送1000点，每日登录送100点
最后几句：
如果对你有帮助，请一键三连支持下我，感谢！以下是小站主流的一些AI工具应用：
- CloserAI AI短剧工作台（本地化解决方案）
https://aigc.douyoubuy.cn/ai-agent/ - closerAI FlowStudio本地AIGC无限画布创作工具
https://aigc.douyoubuy.cn/closerai-flowstudio/ - closerAI AI绘画大师万象视界：
https://aigc.douyoubuy.cn/closerai-vision/ - CLOSERAI POD电商印花批量生产工作站：
https://aigc.douyoubuy.cn/?page_id=420541 - 印花提取：
https://aigc.douyoubuy.cn/yinhua/
以上是就是本期的分享，当然，更多工作流、资讯、插件、工具也可以在我们closerAI会员站上获取(查看原文)。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
>/ 作者：JimmyMo
更多AI前沿科技资讯，请关注我们：
主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网
评论(0)