
更多AI前沿科技资讯,请关注我们:
【closerAI ComfyUI】必备节点!速度快、体积小、效果好的人脸修复项目!KEEP:用于视频人脸超分辨率的创新算法!冲!

大家好,我是Jimmy。在当今的计算机视觉领域,视频人脸超分辨率技术一直是研究的热点之一。它旨在提高视频中人脸图像的分辨率和质量,有着广泛的应用场景,如安防监控、视频会议、影视制作等。
今天介绍的KEEP项目就是一个能将视频人脸超分辨率化的技术,不仅视频可以,图像也可以。效果相当不错,速度快,效果好,安装简单、模型才600多MB,十分推荐。
KEEP:用于视频人脸超分辨率的创新算法
南洋理工大学 S - Lab 团队在 2024 年欧洲计算机视觉会议(ECCV 2024)上发表的 KEEP(Kalman - Inspired Feature Propagation for Video Face Super - Resolution)项目,为该领域带来了新的突破。KEEP 项目聚焦于视频人脸超分辨率技术,提出了受卡尔曼滤波启发的特征传播方法,以有效提升视频中人脸图像的分辨率和质量。
KEEP 项目旨在通过创新的技术手段,解决视频人脸超分辨率中存在的诸多难题。当前,在该领域中,过往的方法要么是将通用的视频超分辨率网络应用于人脸数据集,要么是对单个视频帧独立运用已有的人脸图像超分辨率模型。但这些传统范式在重建面部细节或者维持时间一致性方面,均面临着严峻挑战。
而 KEEP 项目引入了一种全新的框架,即受卡尔曼滤波启发的特征传播框架。该框架的核心优势在于,能够随着时间的推移维持稳定的人脸先验信息。通过借鉴卡尔曼滤波原理,KEEP 方法具备循环利用先前恢复帧信息的能力,以此来指导和调节当前帧的恢复过程。这一独特的技术路径,使得 KEEP 在跨视频帧捕获面部细节方面展现出卓越的有效性。

项目相关链接:
https://jnjaby.github.io/projects/KEEP
https://github.com/jnjaby/KEEP
KEEP在comfyUI中的实现与体验
目前,已有大佬在comfyUI中实现这个项目
仓库地址:https://github.com/wildminder/ComfyUI-KEEP
1、下载节点,解压放置comfyUI/custom_notes中。

依赖安装,github上的说明文档有说命令了,还不会的小伙伴多看几次,不要再问了。所有节点安装不成功的话,先看节点作者的说明文档,大部分都会找到答案。
2、下载模型:
下载预训练模型:节点将尝试在第一次运行Load KEEP Models节点时自动下载所需的模型。模型将保存到标准ComfyUI模型目录中:
保持型号(KEEP-b76feb75.pth,KEEP_Asian-4765ebe0.pth):ComfyUI/models/keep_models/KEEP/
Real-ESRGAN模型(RealESRGAN_x2plus.pth):ComfyUI/models/upscale_models/
面部检测/解析模型(例如,detection_Resnet50_Final.pth):ComfyUI/models/facedetection/
如果自动下载失败,您可以从原始的KEEP Releases V1.0.0手动下载它们,并将其放置在上面提到的相应ComfyUI模型子目录中。
原始的KEEP Releases V1.0.0https://github.com/jnjaby/KEEP/releases/tag/v1.0.0
3、重启comfyUI
4、自己搭建个工作流:

单图脸部修复测试:

下面是GIF的效果演示,画面会有失真,但不影响我们直观看出它脸部的高清修复,同时它还对画面高清修复了。大家自己再测试下。

视频修复:

加载修复以下这个视频:
经过工作流执行修复后的效果:
效果很直观了。
本地算力不够怎么办?
如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn

超强超快 图像高清放大(KEEP版)体验地址:
https://www.runninghub.cn/ai-detail/1938074484014235650
注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151
通过这个链接第一次注册送1000点,每日登录送100点
最后几句:
相比之前的一些高清放大修复项目,如PMRF、invSR等,它速度快,体积小,效果大部分与其它同等甚至能修复模糊到无法识别的人脸,必备节点,推荐!
以上是closerAI团队制作的stable diffusion comfyUI closerAI搭建的closerAI KEEP高清修复放大工作流介绍,大家可以根据工作流思路进行尝试搭建。
当然,也可以在我们closerAI会员站上获取对应的工作流(查看原文)。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:JimmyMo
更多AI前沿科技资讯,请关注我们:

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
评论(0)