目前，人工智能技術已經在人臉識別、語音處理、視頻處理、自然語言處理等領域得到了突飛猛進的進展。未來人工智能技術將在哪些行業(yè)和業(yè)務場景中最快得到應用，以及將會向著哪些方向重點發(fā)展，成為了行業(yè)共同關心的問題。
10月12日，以“智啟非凡”為主題2021中國人工智能大會（CCAI 2021）在成都正式開幕。作為我國人工智能領域的頂級盛會，本次大會共設置了8場主題報告、1場院士尖峰對話、9大專題論壇、6個同期活動面，由23位中外院士領銜，近百位學術技術精英齊聚一堂，通過一系列主題報告和專題論壇深刻呈現人工智能學術前沿、技術動態(tài)、產業(yè)趨勢，反映了產學研各界對產業(yè)數智化發(fā)展的前沿探索和前瞻思考，引領智能科技在進步中與多領域融合發(fā)展，激發(fā)傳統(tǒng)行業(yè)變革活力。
本次CCAI2021中，騰訊優(yōu)圖實驗室研究總監(jiān)汪鋮杰受邀出席了智能創(chuàng)意與視覺知識表達專題論壇并發(fā)表了以《視覺內容編輯生成技術研究與應用》為主題的演講，向與會者分享了優(yōu)圖實驗室在視覺內容編輯生成技術領域的研究成果與應用實例，提供了學術研究和技術創(chuàng)新的方向創(chuàng)新。
騰訊優(yōu)圖實驗室研究總監(jiān)汪鋮杰
01 以GAN和3D技術為主研方向 用AI生成更新更好的內容
在智能手機的普及和人們時間碎片化的態(tài)勢下，以在線音樂、短視頻、直播、資訊等為代表的內容逐漸成為用戶的主要消費對象。隨著用戶精神消費品質的不斷升級和興趣面的不斷擴展，用戶對于內容的生產效率和品質的要求也在不斷提高。而AI技術的發(fā)展和完善，能夠幫助內容生產者在提高內容生產效率的基礎上，豐富內容生產的多種類并提供更加動態(tài)且可交互的內容，以滿足日益增長的內容需求。
在此背景下，AI生成內容（AIGC）應運而生。優(yōu)圖實驗室針對AIGC的主要研究目標就是如何用AI技術生成更新、更好的內容。優(yōu)圖實驗室在AIGC方面擁有兩大核心技術：
1.通過研究生成式對抗網絡（GAN）和GAN內部涉及的FCN結構，通過深度圖像壓縮技術生成不同程度、不同分辨率的圖像，以保障圖像在高清影視制作場景下的清晰度；
2.通過在3D的重建、渲染、驅動等環(huán)節(jié)中引入深度學習和自監(jiān)督圖形學習模式，通過自監(jiān)督學習來獲取大量數據，使3D效果的通用性和泛化性得到較為明顯的提升。
02 深度學習提升3D人像重建效果 技術應用場景越來越廣闊
通過融入深度學習和自監(jiān)督學習機制，不需要再用復雜設備現場采集大量數據，而是通過輸入多張人像圖片就能夠相對輕松地完成對于人像面部的3D建模。
同時，在進行特征融合時，優(yōu)圖實驗室的3D重建技術可以接受任意一張圖片輸入，通過多人臉約束讓重建精度變得更高。
以這種方式生成的3D人像的ID豐富度會大幅度提升，因為在生成的過程中會將人像的幾何信息和紋理信息一并重建，實現人面部皺紋級的細節(jié)還原，最終讓人像能夠覆蓋各個年齡段和各種長相特征。
目前這項3D重建技術已經能夠廣泛應用在超寫實類游戲角色的塑造和低成本3D數字人制作的領域之中。在實際應用場景中，3D重建技術可以通過多視角信息融合功能，僅憑幾張照片就可以實現超寫實型的角色塑造。
在為游戲《天涯明月刀》進行角色建模時，為了讓最終人像符合原作畫風，優(yōu)圖實驗室在3D重建的人像上基于用戶人臉的特征分布以及游戲里面特征分布的差異做細微調整，并基于定位以及細粒度屬性的識別結果，對角色進行精細化修正，最終輸出人們在游戲中看到的栩栩如生的角色建模。
03 深入研究提升GAN訓練模式優(yōu)化效果 讓經典影視作品達到4K標準
近年來,隨著文化產業(yè)政策的利好推動和居民消費水平的提高,我國影視行業(yè)發(fā)展較快，催生了海量影視作品圖像畫質優(yōu)化的需求：除電影膠片修復外，很多存量經典MV和影視作品也需要去刮痕、去噪，并轉換成符合現在用戶觀影需求的4K品質。
為滿足影視行業(yè)中廣泛存在的AIGC需求，優(yōu)圖實驗室在2020年就推出了ReaISR技術。通過構建很多跟現實情況非常接近的低質和高質的圖像，再借助pixel-wise loss、discriminative loss生成GAN訓練模式，以保障修復后的效果。
但是在這種情況下，畫面修復會出現矯枉過正的情況，出現很多高頻的artifacts。為解決此類問題，優(yōu)圖實驗室以ReaISR技術為基礎，通過增加頻率密度約束來抑制高頻的artifacts，并根據圖像狀態(tài)設計畫質評估模塊，從而實現模塊動態(tài)的調整域值的權重，在保證圖像真實度的前提下大幅度提升圖像優(yōu)化效果。
在與上海電影學院和上海電影技術廠的合作中，優(yōu)圖實驗室的ReaISR技術已經幫助其將膠片電影修復至2K甚至是4K的標準。此外，優(yōu)圖實驗室還與一些國外影視制作公司合作，為其提供畫質轉換、去刮痕、去噪等服務。
除人工輔助外，騰訊云公有云圖像超分API和騰訊云媒體AI中臺畫質優(yōu)化功能模塊中也集成了ReaISR技術，能夠幫助用戶用較低的成本實現數字內容的高清化。
04 優(yōu)化技術框架讓AI實現“批量換臉“ 在文化傳播領域得到廣泛應用
如今AI換臉對大眾來說已經并不是一項新鮮的技術了，但是現有的人臉合成框架只能支持兩個ID間的更換，即只支持A至B間的換臉，如果想將A換成C或是D的臉，則需要重新構建框架。
通過將Src圖像ID特征融合到合成框架中，優(yōu)圖實驗室可以讓框架支持任意ID換臉，提升了AIGC的生產效率。同時，框架還引入Weak Feature Matching Loss高層語義特征匹配、3D人臉信息、圖像超分模塊等功能，在保障模板人臉中表情、光照的屬性特點都遷移到結果上的同時，大幅提升了最終生成人像的真實度和清晰度。
在文化運營、推廣活動和影視內容制作的領域中，AI換臉技術的應用場景很多。如可以把用戶的臉與游戲人物融合在一起提升用戶和游戲的互動性，或是在拍攝需要讓同一人物所飾演的不同角色同框出鏡的鏡頭時，用AI換臉技術把兩個角色都換成同一張臉來縮減拍攝成本等。
在實際應用場景中，去年深圳40周年推出的‘深’份證”活動中就用到了引用了Src圖像ID特征的生成框架，超過千萬用戶參與并通過該框架生成了自己獨有的“深”份證。
此外，在政府弘揚當地少數民族文化時，也可以使用這項技術，以各式各樣的民族服飾作為背景，引導用戶上傳照片來生成自己民族服飾藝術照，提高當地少數民族文化的知名度，助力民族文化傳承。
AIGC技術在其他領域中也得到了廣泛應用。比如騰訊會議的中能夠保護用戶隱私的虛擬背景，虛擬光線等功能；通過3D重建技術實現手Q、微視和騰訊會議中的“人物圖像全年齡演化”功能；目前優(yōu)圖實驗室正在嘗試將這些技術應用到虛擬美妝領域中，通過算法讓用戶能夠在照片上模擬化妝效果。
作為騰訊旗下頂級的人工智能實驗室，騰訊優(yōu)圖實驗室目前已擁有超過1000件全球AI專利，更有300余篇論文被AAAI、ICCV等國際頂級AI會議收錄。憑借在視覺AI技術上的研究成果，優(yōu)圖實驗室通過騰訊云共輸出超過20項AI解決方案，100+AI原子能力，助力各行各業(yè)實現數字化轉型。
此外，騰訊優(yōu)圖還打造了如跨年齡AI尋人、青少年內容審核、AI探星等技術能力，踐行騰訊“科技向善”的使命和愿景。未來，優(yōu)圖實驗室將繼續(xù)專注人工智能技術發(fā)展，通過推進AI基礎設施研發(fā)的形式為產業(yè)數字化轉型提供助力，促進數字經濟加速發(fā)展。
