添加图片注释,不超过 140 字(可选)

更多AI前沿科技资讯,请关注我们:

http://aigc.douyoubuy.cn/

【closerAI ComfyUI】必备节点!速度快、体积小、效果好的人脸修复项目!KEEP:用于视频人脸超分辨率的创新算法!冲!

添加图片注释,不超过 140 字(可选)

大家好,我是Jimmy。在当今的计算机视觉领域,视频人脸超分辨率技术一直是研究的热点之一。它旨在提高视频中人脸图像的分辨率和质量,有着广泛的应用场景,如安防监控、视频会议、影视制作等。

今天介绍的KEEP项目就是一个能将视频人脸超分辨率化的技术,不仅视频可以,图像也可以。效果相当不错,速度快,效果好,安装简单、模型才600多MB,十分推荐。

KEEP:用于视频人脸超分辨率的创新算法

南洋理工大学 S - Lab 团队在 2024 年欧洲计算机视觉会议(ECCV 2024)上发表的 KEEP(Kalman - Inspired Feature Propagation for Video Face Super - Resolution)项目,为该领域带来了新的突破。KEEP 项目聚焦于视频人脸超分辨率技术,提出了受卡尔曼滤波启发的特征传播方法,以有效提升视频中人脸图像的分辨率和质量。

KEEP 项目旨在通过创新的技术手段,解决视频人脸超分辨率中存在的诸多难题。当前,在该领域中,过往的方法要么是将通用的视频超分辨率网络应用于人脸数据集,要么是对单个视频帧独立运用已有的人脸图像超分辨率模型。但这些传统范式在重建面部细节或者维持时间一致性方面,均面临着严峻挑战。

而 KEEP 项目引入了一种全新的框架,即受卡尔曼滤波启发的特征传播框架。该框架的核心优势在于,能够随着时间的推移维持稳定的人脸先验信息。通过借鉴卡尔曼滤波原理,KEEP 方法具备循环利用先前恢复帧信息的能力,以此来指导和调节当前帧的恢复过程。这一独特的技术路径,使得 KEEP 在跨视频帧捕获面部细节方面展现出卓越的有效性。

添加图片注释,不超过 140 字(可选)

项目相关链接:

https://jnjaby.github.io/projects/KEEP

https://github.com/jnjaby/KEEP

KEEP在comfyUI中的实现与体验

目前,已有大佬在comfyUI中实现这个项目

仓库地址:https://github.com/wildminder/ComfyUI-KEEP

1、下载节点,解压放置comfyUI/custom_notes中

添加图片注释,不超过 140 字(可选)

依赖安装,github上的说明文档有说命令了,还不会的小伙伴多看几次,不要再问了。所有节点安装不成功的话,先看节点作者的说明文档,大部分都会找到答案。

2、下载模型:

下载预训练模型:节点将尝试在第一次运行Load KEEP Models节点时自动下载所需的模型。模型将保存到标准ComfyUI模型目录中:

保持型号(KEEP-b76feb75.pth,KEEP_Asian-4765ebe0.pth):ComfyUI/models/keep_models/KEEP/

Real-ESRGAN模型(RealESRGAN_x2plus.pth):ComfyUI/models/upscale_models/

面部检测/解析模型(例如,detection_Resnet50_Final.pth):ComfyUI/models/facedetection/

如果自动下载失败,您可以从原始的KEEP Releases V1.0.0手动下载它们,并将其放置在上面提到的相应ComfyUI模型子目录中。

原始的KEEP Releases V1.0.0https://github.com/jnjaby/KEEP/releases/tag/v1.0.0

3、重启comfyUI

4、自己搭建个工作流:

添加图片注释,不超过 140 字(可选)

单图脸部修复测试:

添加图片注释,不超过 140 字(可选)

下面是GIF的效果演示,画面会有失真,但不影响我们直观看出它脸部的高清修复,同时它还对画面高清修复了。大家自己再测试下。

添加图片注释,不超过 140 字(可选)

视频修复:

添加图片注释,不超过 140 字(可选)

加载修复以下这个视频:

经过工作流执行修复后的效果:

效果很直观了。

本地算力不够怎么办?

如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn

添加图片注释,不超过 140 字(可选)

超强超快 图像高清放大(KEEP版)体验地址:

https://www.runninghub.cn/ai-detail/1938074484014235650

注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151

通过这个链接第一次注册送1000点,每日登录送100点


最后几句:

相比之前的一些高清放大修复项目,如PMRF、invSR等,它速度快,体积小,效果大部分与其它同等甚至能修复模糊到无法识别的人脸,必备节点,推荐!

以上是closerAI团队制作的stable diffusion comfyUI closerAI搭建的closerAI KEEP高清修复放大工作流介绍,大家可以根据工作流思路进行尝试搭建。

当然,也可以在我们closerAI会员站上获取对应的工作流(查看原文)

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

>/ 作者:JimmyMo

更多AI前沿科技资讯,请关注我们:

http://aigc.douyoubuy.cn/

添加图片注释,不超过 140 字(可选)
隐藏内容
本内容需权限查看
  • 普通用户: 99.9金币
  • VIP会员: 免费
  • 永久会员: 免费

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。