本篇介紹一款開(kāi)源的AI技術(shù)(2021年發(fā)布的),可以幫助你修復(fù)老舊照片,讓你重溫昔日美好瞬間!
在線免費(fèi)體驗(yàn)網(wǎng)站:https://huggingface.co/spaces/akhaliq/GFPGAN
因?yàn)檫@個(gè)模型比較大,需要大量的計(jì)算資源,特別是GPU資源,而且還是免費(fèi)的,所以不知道什么時(shí)候會(huì)被關(guān)閉。現(xiàn)在用的人少,所以這個(gè)在線體驗(yàn)還能免費(fèi)用。
什么是GFPGAN
實(shí)現(xiàn)該修復(fù)背后用的是GFPGAN算法。GFPGAN 是騰訊開(kāi)源的人臉修復(fù)算法,它利用預(yù)先訓(xùn)練好的面部GAN(如StyleGAN2)中封裝的豐富和多樣的先驗(yàn)因素進(jìn)行盲臉(blind face) 修復(fù),旨在開(kāi)發(fā)用于現(xiàn)實(shí)世界人臉修復(fù)的實(shí)用算法。
https://github.com/TencentARC/GFPGAN
演示
挑選了一張老舊照片,看看修復(fù)效果如何。
特地挑了一張巨模糊的照片。
修復(fù)后的效果:
那么 GFP-GAN 如此強(qiáng)大的效果是怎么實(shí)現(xiàn)的呢?研究人員受到 StyleGAN2 的啟發(fā):
既然 GAN 已經(jīng)能生成如假亂真的圖片,那么它所包含的面部信息,是不是也能幫助人臉修復(fù)呢?由此,在 GFP-GAN 的模型框架中,主要用到了一個(gè)退化清除模塊和一個(gè)預(yù)訓(xùn)練的 GAN 作為先驗(yàn)。
兩個(gè)模塊通過(guò)隱編碼映射和多個(gè)信道分割空間特征變化層(CS-SFT)連接。
訓(xùn)練過(guò)程中,首先要對(duì)低質(zhì)量人臉進(jìn)行降噪等粗處理,然后保留面部信息。
在保真度方面,研究人員引入了一個(gè)面部損失( Facial Component Loss),判斷哪些細(xì)節(jié)需要提升保留,然后再用識(shí)別保留損失(Identity Preserving Loss)進(jìn)行修復(fù)。
最近大火的AI繪圖領(lǐng)域的Stable Diffusion也是用到了GFPGAN。參考下面的依賴包文件第六行 https://Github.com/AUTOMATIC1111/stable-diffusion-webui/blob/master/requirements.txt