添加图片注释,不超过 140 字(可选)

更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

【closerAI ComfyUI】厉害!动画、视频、电影都能搞!UniAnimate万相Lora简单高效实现动画效果!无脑冲!

大家好,我是Jimmy。阿里团队基于万相2.1视频生成模型推出人物动画LORA,简化了动作迁移的工作流程,只需要接入LORA和撰写简单提示词即可完成高质量的人物动作迁移的视频,相当于只需要找到动作,它就可以驱动指定人物去模仿这个动作。动画、视频、电影都能搞!你就说屌不屌!

UniAnimate项目介绍

仓库地址:https://github.com/ali-vilab/UniAnimate

论文地址:https://unianimate.github.io/

添加图片注释,不超过 140 字(可选)

UniAnimate统一视频扩散模型用于一致的人类图像动画

UniAnimate 旨在通过统一的视频扩散模型实现一致的人类图像动画。该研究解决了现有技术的两个主要限制:需要额外的参考模型来对齐身份图像以及生成的视频较短。通过引入统一的噪声输入和基于状态空间模型的时间建模架构,UniAnimate 能够生成高质量、长时间的人类视频。

UniAnimate 框架

为了解决这些问题,UniAnimate 提出了以下创新:

  1. 统一的特征空间映射:通过将参考图像、姿势引导和噪声视频映射到一个共同的特征空间,减少了优化难度并确保了时间一致性。
  2. 统一的噪声输入:支持随机噪声输入和第一帧条件输入,增强了生成长期视频的能力。
  3. 基于状态空间模型的时间建模:替代了计算消耗大的时间变换器,以更高效地处理长序列。
添加图片注释,不超过 140 字(可选)

UniAnimate的comfyUI实现

KJ大神已复现了这个功能,大家更新KJnodes即可。

Kjwanvideo:https://github.com/kijai/ComfyUI-WanVideoWrapper

模型下载:https://huggingface.co/Kijai/WanVideo_comfy/tree/main

模型下载后放置:comfyUI/models/loras中

更新和下载完模型后重启comfyUI,拖入我们的工作流:

closerAI UniAnimate wan lora 人物动画工作流

添加图片注释,不超过 140 字(可选)

在wan2.1的基础视频生成工作流中加入最新支持UniAnimate的节点。

添加图片注释,不超过 140 字(可选)

加载一张人像图和一段动作舞蹈:左边是图,右边是参考动作视频

添加图片注释,不超过 140 字(可选)

然后无脑执行。

执行完效果:

我的设备配置低,跑了很久,搞了个1S的。效果如上。大家作参考吧。

本地算力不够怎么办?

如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn

添加图片注释,不超过 140 字(可选)

runninghub.cn一图跳舞工作流体验地址:

https://www.runninghub.cn/ai-detail/1913774392671727617

注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151

通过这个链接第一次注册送1000点,每日登录送100点


最后几句:

一个LORA就能实现动作迁移,简化了以往的工作流程,让你出片更高效!可玩性和市场价值非常高。

以上是UniAnimate万相Lora的介绍、安装和使用方法以及closerAI团队制作的stable diffusion comfyUI closerAI开发的closerAI UniAnimate wan lora 人物动画工作流介绍,大家可以根据工作流思路进行尝试搭建。

当然,也可以在我们closerAI会员站上获取对应的工作流(查看原文)

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

>/ 作者:JimmyMo

更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

添加图片注释,不超过 140 字(可选)
隐藏内容
本内容需权限查看
  • 普通用户: 99.9金币
  • VIP会员: 免费
  • 永久会员: 免费

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。