包浆网图分分钟变高清,伪影去除、细节恢复更胜前辈AI,下载可玩|腾讯ARC实验室出品

汤晓鸥弟子一作。

下面来欣赏一些高糊图片“整个世界都清晰了”的魔法时刻:

无论是动漫还是真实图像,是不是都清晰还原了?

以上就是由腾讯ARC实验室最新发表的图像超分辨率模型完成的。

与前人工作相比,它可以更有效地消除低分辩率图像中的振铃和overshoot伪影

面对真实风景图片,能更逼真地恢复细节,比如树枝、岩石、砖块等。

除了上面这些官方的demo,我们也试了一下,效果还比较满意:

如果你也想试试,可在GitHub上下载该模型的可执行文件,Windows/Linux/MacOS都可以,且不需要CUDA或PyTorch的支持。

下好以后只需在终端执行以下命令即可使用:

./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png

基于ESRGAN的改进研究

这个模型被命名为Real-ESRGAN,总的来说,就是通过模拟高分辨率图像变低分辩率过程中的各种退化,然后看到一张糊图后倒推出来它的高清图。

而它是对超分“前辈”ESRGAN的进一步研究

ESRGAN曾赢得ECCV2018 PIRM-SR挑战赛中的第一名,但它在恢复具有未知和复杂退化(degradation)的低分辨率图像方面,也就是盲超分辨率(Blind Super-Resolution)上做的还不够好。

而相比ESRGAN,Real-ESRGAN使用合成数据进行训练,引入了高阶退化建模以更全面逼真地模拟复杂的图像退化,重点考虑了合成过程中常见的振铃和overshoot伪影。

还采用了一个具有谱归一化(Spectral Normalization)的U-Net鉴别器,来提高鉴别器的性能并稳定训练过程,最终实现了“青出于蓝胜于蓝”的效果。

下面就进入具体原理讲解:

通常情况下,真实图像y首先与模糊核(blur kernel)k进行卷积,然后执行具有比例因子r的下采样操作,通过添加噪声n获得低分辨率图像x。一般还得再加个JPEG压缩,即:

而获得高清图像的过程就是求解y的过程(其中D表示退化过程)。

然而只采用这一经典的退化模拟,训练后的模型只能处理部分图像,更复杂的退化(尤其是未知噪声和某些伪影)仍无法解决

所以研究人员就引出了高阶退化过程来模拟出更真实全面的退化,它包含多个重复的经典退化过程,每个又具有不同的退化超参

下图为Real-ESRGAN进行退化模拟的示意图:

采用的是二阶退化,具体来说:

  • 在模糊(blur)退化方面,为了包含更多不同的核形状,Real-ESRGAN采用了广义高斯模糊核和plateau-shaped分布。
  • 降噪(noise)方面,除了颜色噪声和灰度噪声,还模拟了两种常见类型:

(1)加性高斯噪声:其噪声强度受高斯分布标准差控制;
(2)泊松噪声:其噪声强度与图像信息成正比。

  • resize也就是经典退化模拟里的下采样,在这里为了产生更多模糊图像,就改成了上采样+下采样的组合操作。resize方法中,由于最近邻插值会导致错位,最后就只考虑了面积、双线性和双三次插值。
  • JPEG压缩,能带来块伪影。下图为OpenCV与DiffJPEG的压缩效果对比,Real-ESRGAN采用的是DiffJPEG。

而在Real-ESRGAN重点关注的伪影方面:

主要针对非常常见的振铃伪影(下图左1左2,看起来像“鬼影”)和overshoot伪影(下图右2右1,看起来像“锯齿”)。

采用了sinc滤波器来模拟这两者 :

以上,退化模拟搞定后,就可以开始训练了。

Real-ESRGAN的生成器沿用了ESRGAN的RRDBNet,还扩展了原始的×4 ESRGAN架构,以执行resize比例因子为×2和×1的超分辨率放大。

判别器则由VGG型升级为U-Net型,以具备更强的判别能力,处理复杂的输出以及生成关于局部纹理的精确梯度反馈

另外,U-Net架构和复杂的退化给训练带来了不稳定性,为此,还采用了谱归一化来稳定模型训练,这也有助于缓解GAN带来的过度锐化以及伪影。

去除伪影、恢复纹理细节的效果优于其他方法

最终可以看到,Real-ESRGAN在去除伪影和恢复纹理细节方面都明显优于以前的方法:

消融实验也发现采用二阶退化模型的效果最好、通过sinc滤波器的可以跟好地去除伪影、SN+UNet的组合取得了最佳的视觉效果、引入更多的模糊核,模型效果还可以进一步提升(分别对应下面四组图):

当然,他们也发现三个表现不够好的效果,比如线条扭曲、出现了其他伪影。

总而言之,作者表示:盲图像超分仍处于初步探索阶段,之前的BSRGAN以及本文的Real-ESRGAN可为该领域提供一个非常好的基线。

团队介绍

Wang Xintao,毕业于浙江大学本科,香港中文大学博士(师从汤晓鸥),现在是腾讯ARC实验室(深圳应用研究中心)的研究员。研究兴趣集中在图像/视频的超分辨率恢复。ESRGAN的一作

谢良彬 ,中国科学院深圳先进技术研究所硕士一年级学生,师从董超教授。

董超,中国科学院深圳先进技术研究院硕导,毕业于北理工本科,香港中文大学博士。曾任商汤科高级研究经理,谷歌学术引用14416次,h指数22。

单瀛,腾讯PCG应用研究中心(ARC)主任。

论文地址:
https://arxiv.org/abs/2107.10833

Colab试玩地址:
https://colab.research.google.com/drive/1k2Zod6kSHEvraybHl50Lys0LerhyTMCo?usp=sharing#scrollTo=7IMD5vhOYp68

GitHub项目地址:

https://github.com/xinntao/Real-ESRGAN

版权所有,未经授权不得以任何形式转载及使用,违者必究。