聲明：本文來自于微信公眾號 公眾號量子位(ID：QbitAI)，作者丨金磊，授權轉載發布。
這兩天，抖音上一款特效——「變身漫畫」，簡直火到不行。
從明星到路人，堪稱全民參與，來看下效果吧~
首先登場的是張藝興和戚薇。
可以看到，這個特效基于人物的面容，很好的轉換成了二次元漫畫風格。
尤其是眼睛的處理，把張藝興慵懶的眼神、戚薇水汪汪的大眼睛，詮釋的淋漓盡致。
當然發型也都是「滿分轉換」，分叉、造型等細節可以說是絲毫不差了。
抖音網友們直呼：
終于看到這個特效啦!早就想看偶像的漫畫風，圓夢了!
可愛的PDD同學也參與了進來，這個漫畫風讓他變得少了些油膩，多了份清純，好評!
調皮的網友竟發出疑問：
安西教練?
當然，刷了眾多視頻之后，你會發現這個特效并不是適合所有人，建議以下 2 類人慎用此特效。
第一類是顏值過高，這里的高是指本來長相就像「從漫畫里走出來」的人，例如吳亦凡。
本來吳亦凡是濃眉大眼、五官立體，轉換后卻顯得「單薄」了不少。
第二類是彪形大漢……話不多說，來感受一下這個畫風……
嗯……原來的味道，全沒了……引得網友直呼：
你為什么要拉過來?
發我男朋友看一下，讓他認清社會的現實。
突破「次元壁」的關鍵技術
那么如此有趣的特效，是怎么做到的呢?
雖然目前并沒有看到專門對應此特效的研究，但是有關「風格遷移」的研究，并不是新鮮的事物了。
而在眾多研究中，打破二次元和三次元的關鍵技術，就是GAN (對抗生成網絡)。
用GAN實現漫畫風
早在去年，港中文、哈工大和騰訊優圖的一篇最新研究，可以將人臉照片轉化成如同手繪版的卡通圖，甚至還能反向轉換，將二次元的卡通圖像，轉換成現實中可能的樣子。
將真實人臉照片轉化成卡通圖像，效果超越了CycleGAN。
還能轉換成日漫畫風，自帶了熱血青春的氣息。
這項研究利用到的技術叫做Landmark Assisted CycleGAN，它利用面部標志特征來定義一致性損失，指導在CycleGAN中訓練局部鑒別器。
整體結構如下：
整體來說，這個轉換過程分為 3 步。
首先，生成器先根據CycleGAN生成一張粗糙的卡通人臉。
隨后，模型根據第一步生成的圖像，生成一個預訓練回歸量(regressor)，來預測面部landmark，對面部的關鍵點進行標記。
最后，通過局部和全局兩種鑒別器，研究人員細化在卡通圖和對應真實圖像中的人臉特征。在這個階段，強調了landmark的一致性，因此最后的生成生成結果逼真且有辨識度。
用GAN實現油畫風
例如MIT和IBM沃森聯合實驗室，發布的名為AI Portraits Ars的工具，只要給定一張圖像，就能秒變「文藝復興款」的油畫風。
值得一提的是，這不是風格遷移，而是GAN自己畫出來的。
不止能拿著照片作畫，看著視頻也沒問題，例如 1960 年的老電影《驚魂記》。
這項技術里GAN的生成器就像是個畫師，而判別器就充當鑒賞家角色，負責識破生成器的畫不是人類作品。
生成器里有個潛在空間，里面有千千萬萬的AI畫像，都是從人類畫作里，用不同的向量修改而成。
然后，要按著照片生成畫像，就把一個向量 (Latent Vector) ，映射到千萬AI畫像里和照片最接近的一幅。
團隊還設計了一個Inverter，可以從照片里近似出一個向量，用來找到潛在空間里最合適的那個向量。
用GAN讓紙片人活起來
除此之外，GAN甚至還可以讓2D形象變成3D“活物”。
例如來自華盛頓大學的照片喚醒 (Photo Wake-Up)技術，可以讓你體驗到麻瓜的神奇魔法。
它可以讓你最愛的體育明星從照片里跑出來：還能賦予二次元角色新力量：
還可以借此把角色們AR/VR化，只要動動手指，它們就能出現在你身邊的世界：
這項研究整個操作過程，其實只用了三步：
第一步是分割紙片人：利用現成的圖像分割算法，將畫中人的軀干、四肢分割，再用人體姿態估計，提取畫中人的2D骨骼關鍵點，忽略厚重的衣服，擬合出一種半裸的可塑3D模型，稱為SMPL模型。
第二步是是細化紙片人3D模型：先將SMPL模型映射到2D世界對準輪廓，調好再次轉換成3D模型確保精確度。
最后一步中，研究人員用CMU的Mo-cap人體動作數據集喂給模型。
讓二次元走進現實
除了抖音最近火爆的「變身漫畫」特效外，隔壁島國的一項「3D姿態追蹤」也火了。
可以讓漫畫人物跟隨著你的動作，一起翩翩起舞，仿佛二次元人物走進了現實。
利用「真人模型」也是可以的。
并且這項技術可在線體驗哦(鏈接見傳送門)。
這樣一來，和你心儀的二次元對象，在現實中共舞便不再是夢!
若是把明星作為模型輸入的一部分，是不是也可以跟偶像共舞了?
咦?好像可以預見娛樂平臺的下一個爆款特效了。
傳送門
3D姿態追蹤項目地址：
https：//github.com/digital-standard/ThreeDPoseTracker
參考鏈接：
https：//mp.weixin.qq.com/s/5covdsSaNBIAqORbtfHa4w
https：//mp.weixin.qq.com/s/VU06PqZ4OaLxpjLwIObWZw
https：//mp.weixin.qq.com/s/gXonxan5baaJ6jwEcY9ILg
