這兩天最讓人上頭的神曲是什么?非“螞蟻呀嘿”莫屬呀!
這個僅用一張照片、一段視頻就能做的魔性視頻,這兩天在某博、某抖和某手上瘋狂刷屏。傲嬌的表情配合洗腦的音樂,再加上各界大佬的傾情演繹,讓人看過一遍就再也忘不了,真可謂“失眠時,沒有一只螞蟻是無辜的。”
“螞蟻呀嘿”火爆全網,各式各樣的制作教程也隨之而來。其中,最方便的莫過于用PaddleGAN(百度飛槳的生成對抗網絡工具套件)來實現。它不僅完全免費,還省去了下載Avatarify(最新消息,該App已被下架)和加速器等多個軟件的麻煩,讓你無需下載和頻繁切換,三步就能生成自己的“螞蟻呀嘿”小視頻。
接下來就給大家介紹兩種制作方法,并揭秘背后的核心技術原理。
第一種:“小白版”教程
首先,大家可以點擊下方鏈接,進入AI Studio(人工智能學習與實訓社區)中的【天下第一AI武道會-Deepfake換臉】項目,“基礎版”或“高級版”兩種運行環境皆可:
https://aistudio.baidu.com/aistudio/projectdetail/1189026
第二步是備好素材:一張源圖片和一個驅動視頻。源圖片就是你想讓他唱歌的照片,只保留人物脖子以上部分,尺寸要求256*256,圖片文件名改為【01. png】。驅動視頻則是單人唱著“螞蟻呀嘿”的小視頻,可以從網上直接搜索下載,視頻文件名改為【02. mp4】。(注意png和mp4都是小寫)
第三步上傳圖片和視頻,并點擊“運行全部”,然后靜候幾分鐘即可。待頁面左側出現名為“export. mp4”的文件,即為運行成功,專屬于你的“螞蟻呀嘿”就這樣出爐啦。
(第一步:在AI Studio中搜索并運行項目)
(第二步:備好一張源圖片和一個驅動視頻)
(第三步:上傳素材并運行全部)
第二種:“進階版”教程
因為有些同學不只想做“螞蟻呀嘿”,還想自己錄制面部動作,生成任意題材的花樣視頻,甚至是開發Avatarify這樣的App或小程序,走上“致富之路”,而這通過飛槳也都能實現。
飛槳已將螞蟻呀嘿的核心技術開源于PaddleGAN套件中,在AI Studio平臺實現了完整的在線項目【PaddleGAN表情動作遷移進階版】,大家可以根據需要,使用AI Studio的免費算力,實現更多腦洞大開的動作遷移效果!
https://aistudio.baidu.com/aistudio/projectdetail/1586056
進階版制作起來同樣分為三步,并都是在AI Studio平臺上實現,這里繼續以“螞蟻呀嘿”為例進行介紹。首先,大家可以下載PaddleGAN代碼。
!git clone https://gitee.com/PaddlePaddle/PaddleGAN
!pip install -r requirments.txt
接下來,使用表情遷移命令。
命令:
!export PYTHONPATH=$PYTHONPATH:/home/aistudio/work/PaddleGAN && python -u tools/first-order-demo.py --driving_video ~/fullbody.MP4 --source_image ~/禿頭喬哥.png --relative --adapt_scale
只需在如下命令中的driving_video參數和source_image參數分別換成自己的視頻(藍色部分)和照片路徑(黃色部分),即可運行得到“螞蟻呀嘿”小視頻。
- driving_video: 驅動視頻,模型將學習視頻中人物的面部表情
- source_image:源圖片,模型將驅動視頻中的人物表情遷移至源圖片的人物上
這個視頻目前還沒有配樂,所以還需要第三步,為視頻配上聲音。
運行以下命令即可生成最終的“螞蟻呀嘿”專屬視頻啦(本例中的視頻文件名為export.mp4)!
videoclip_1 = VideoFileClip("/home/aistudio/fullbody.MP4")
videoclip_2 = VideoFileClip("./output/result.mp4")
audio_1 = videoclip_1.audio
videoclip_3 = videoclip_2.set_audio(audio_1)
videoclip_3.write_videofile("./output/export.mp4", audio_codec="aac")
(生成效果圖)
“螞蟻呀嘿”視頻的核心技術是動作遷移算法First Order Motion,它的功能是將人物A的臉部動作搬移到人物B身上,讓人物B的臉演繹人物A的表情。
First Order Motion算法的結構圖如下:
簡單來說,First Order Motion能夠通過自監督的方式學習到圖像中的關鍵點。不需要提前知道目標的一些信息,比如骨架等就可以實現動作遷移。
PaddleGAN的表情遷移能力靈活支持各類不同表情的面部遷移,不僅是“螞蟻呀嘿”,其他魔性動作也都能制作。除此之外,PaddleGAN這個免費開源的寶藏套件還包含數十種能力,包括唇形合成(對嘴型)、視頻/照片修復(上色、超分、插幀)、人臉動漫化、照片動漫化等等。能實現讓“蒙娜麗莎”播新聞、修復百年前的老照片、或是將普通的風景照“二次元化”等各種神操作,一個比一個厲害!
(唇形合成)
(老照片修復)
(照片動漫化)
如果你也想不下載App就能做魔性視頻,或是有更多、更大的腦洞想要實現,指路百度AI Studio親自試試吧!