【ITBEAR科技資訊】5月2日消息,蘋果近日推出了一項新的黑科技——FaceLit,這項技術(shù)可以利用一張照片生成高質(zhì)量的3D頭像,并且光線真實,可以任意角度調(diào)整。與傳統(tǒng)的頭像合成工具相比,F(xiàn)aceLit僅需要一張照片素材即可生成3D頭像,不需要專門選擇角度,也不需要額外的表情、發(fā)型、眼鏡等素材,更易于操作。而且,F(xiàn)aceLit獲得了3.5的FID評分,較同類產(chǎn)品高出25%。
據(jù)悉,F(xiàn)aceLit的頭像合成過程采用了將人物本體與光線分別處理再進行疊加的策略,以解決早期的三維人像合成工具可能產(chǎn)生形變的問題。在EG3D框架的基礎(chǔ)上,蘋果團隊創(chuàng)造了FaceLit的合成模型,通過三平面解碼器賦予了二維卷積神經(jīng)網(wǎng)絡(luò)生成渲染3D模型所需深度參數(shù)的能力,并加入了光照參數(shù)l以獨立處理光源。反射解碼器流程中,F(xiàn)aceLit加入了鏡面反射解碼器和漫反射解碼器以代替三平面解碼器,通過對GAN2產(chǎn)生的數(shù)據(jù)進行再次解碼,可以得到鏡面反射率ks和漫反射率kd,然后再通過兩種反射著色器得到顏色c。FaceLit以與三平面解碼器相同的參數(shù)(c,w,σ)渲染圖像,并進行分辨率優(yōu)化。
據(jù)ITBEAR科技資訊了解,F(xiàn)aceLit在訓練過程中無需人工標注,采用了FFHQ、MetFaces和CelebA-HQ數(shù)據(jù)集。對于不同的數(shù)據(jù)集,蘋果使用了不同的訓練方式。訓練結(jié)果表明,F(xiàn)aceLit在機位、光源和反射高光等方面表現(xiàn)出色,并在FID、KID等指標上優(yōu)于傳統(tǒng)生成方式。在使用FFHQ作為訓練集的條件下,F(xiàn)aceLit擁有最低的FID和KID值,相比于英偉達的StyleGAN2,其表現(xiàn)也出色。這項技術(shù)的出現(xiàn)引起了不少網(wǎng)友的熱議,有人認為FaceLit的出現(xiàn)標志著蘋果將進軍AR和VR領(lǐng)域,也有人認為蘋果在AI領(lǐng)域的深度被低估,未來有著廣泛的期待。