女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一
一作师从汤晓鸥
明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI
包浆老图立刻清晰到头发丝是一种怎样的体验?
看这明亮的眼眸、清晰的发丝,原本模糊的人像立刻添了几分灵动:
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/86f67fbd46f14073b6d170b723817354.png?from=pc)
(这就是用AI修复的高圆圆童年照)
时间更久远的历史名人照片也能搞定。
鲁迅先生年轻时意气风发的模样,被还原地淋漓尽致:
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/6dff19a9488c4e9d9a41962c3d26d21a.png?from=pc)
图灵的这张修复就更厉害了,不仅眼神更加锐利,头发、眉毛等细节都被完美还原了出来:
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/41e821528fb04efba96a1c392f92a05e.png?from=pc)
而以上这些效果,无需专业PS技能,只用一个网页端的Demo、点点鼠标上传图片就能搞定!
这么方便的修复神器,立刻引来了广大网友的围观和试玩。
不少人都用自己童年时低像素的照片来试验,这效果仿佛十几年前的自己就站在眼前了:
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/54b9e7525d7b4f68a2b2e12c73384b2f.png?from=pc)
已经糊到包浆的照片也能秒变人像大片,这feel立刻就来了~
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/8d84773ad30d4e93a660e01f415e2e71.png?from=pc)
多人合照修复也都是小case,这效果让网友们直呼惊到了惊到了。
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/41883c5903064e83b479c0a5030c67ff.png?from=pc)
这就是已经多日霸占GitHub热榜第一的AI修复项目:GFP-GAN,Star数高达8400。
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/a90bee05afbc41adb3e7671d929575a7.png?from=pc)
最近,它在网上又掀起了一股老照片修复热潮,让人们争相试玩!
而这一项目由腾讯PCG ARC实验室提出,其相关论文已被CVPR2021收录。
现在,就让我们赶紧来体验一下它的神奇之处吧。
Demo试玩
GFP-GAN可通过Colab、Hugging Face或本地运行代码进行试玩。
我们今天是在Hugging Face网页端体验。
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/ec1bf334e98d4df998f9b5f5bf7281fb.png?from=pc)
如界面所示,只需将你想修复的照片拖进左边的图片框内,点击Submit即可。
比如我们上传一张的照片,得到的效果就是这样:
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/30a074b17979417ea1528a295049048d.png?from=pc)
而且它还会自动摆正人脸。
让人惊喜的是,遇到人像戴眼镜的情况,GFP-GAN甚至连镜片反光都能高清化处理。
u1s1(有一说一),修复后的效果完全看不出是几十年前的照片啊!
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/82bebcf8f84a48eda52d30e286f0b0b6.png?from=pc)
就连齐天大圣孙悟空的猴脸,对于GFP-GAN而言也是so easy,并且对光线的修复效果格外突出。
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/8e0fff7a4b9b44c6bcd526b5fca97f33.png?from=pc)
并且修复中也不会过度磨皮,人脸上自然的皱纹也全部精细展现。
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/058c98c94df344b48bb9ea5d67db76e0.png?from=pc)
用GAN修复人像
那么GFP-GAN如此强大的效果是怎么实现的呢?
研究人员受到StyleGAN2的启发:
既然GAN已经能生成如假乱真的图片,那么它所包含的面部信息,是不是也能帮助人脸修复呢?
由此,在GFP-GAN的模型框架中,主要用到了一个退化清除模块和一个预训练的GAN作为先验。
两个模块通过隐编码映射和多个信道分割空间特征变化层(CS-SFT)连接。
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/b9451d913d5747da907813956e523a7b.png?from=pc)
训练过程中,首先要对低质量人脸进行降噪等粗处理,然后保留面部信息。
在保真度方面,研究人员引入了一个面部损失( Facial Component Loss),判断哪些细节需要提升保留,然后再用识别保留损失(Identity Preserving Loss)进行修复。
一作师从汤晓鸥教授
本文论文一作是Xintao Wang,他是腾讯 ARC 实验室(深圳应用研究中心)的研究员。
本科毕业于浙江大学,博士毕业于香港中文大学。
其博士期间师从汤晓鸥教授和Chen Change Loy教授。
研究方向为计算机视觉和深度学习,尤其关注图像、视频修复方面。
![女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一](https://p26.toutiaoimg.com/origin/tos-cn-i-qvj2lq49k0/00d9797107ef44ed8743504acee37490.png?from=pc)
论文地址:
https://arxiv.org/abs/2101.04061
GitHub项目页:
https://github.com/TencentARC/GFPGAN
Hugging Face试玩传送门:
https://huggingface.co/spaces/akhaliq/GFPGAN
- 12h订单破万,卖爆了的国产AR眼镜公司什么来头?2024-07-26
- 联想CTO换帅!芮勇转任新集团总裁,瞄准新兴技术2024-07-26
- ICML最佳论文曾被ICLR拒稿,Pika联创参与,一作已入职OpenAI2024-07-25
- 北大刘若川教授获拉马努金奖,中国学者4次获此殊荣2024-07-24