近日，計算機視覺領域國際頂會 ICCV 2021公布了第二屆人臉表情國際挑戰賽（The 2nd Workshop and Competition on Affective Behavior Analysis in-the-wild (ABAW)）的比賽結果。網易伏羲虛擬人團隊從全球146支隊伍中脫穎而出，斬獲兩項冠軍及一項亞軍，展示出網易在AI人臉表情感知這一前沿領域的強勁科研實力。
ICCV是全球計算機視覺領域的三大頂級會議之一，以論文錄用率低、學術含金量高著稱。此次ICCV 2021舉辦的人臉表情國際挑戰賽，致力于推動AI感知人臉表情領域的技術提升及應用落地，推動AI更好地理解人類的情緒和行為，建立人機交互的信任度、理解度和親密度。通過本次挑戰賽，AI對人類表情感知的能力逐步提升，相關產業應用有望加速落地。
相較首屆比賽，本次競賽難度大幅增加。一方面，本次比賽的564個視頻數據集包含復雜多樣的光照、角度、遮擋以及不均衡的數據類別，考驗模型的抗干擾和泛化能力；另一方面，由于缺乏視頻中人物身份數據信息，導致人臉表情與身份信息的耦合增強，而這一現象也對模型的泛化能力有著更高的要求。
網易伏羲虛擬人團隊基于自研表情編碼，提出的多任務串聯框架表現突出，分別在人臉表情動作單元檢測（Facial Action Unit Detection）、情緒識別（Seven Basic Expression Classification）賽道斬獲冠軍，并在愉悅度-喚醒度評估（Valence-Arousal Estimation）賽道獲得亞軍。
（在人臉表情動作單元檢測中，網易伏羲以F10.506，準確率0.888，獲得冠軍）
（在情緒識別中，網易伏羲以F1 0.763，準確率0.807，獲得冠軍）
（在愉悅度-喚醒度評估中，網易伏羲以一致性相關系數(CCC)指標0.49，獲得亞軍）
值得一提的是，得益于網易伏羲此前自研的人類表情編碼等研究成果，AI感知人類表情的精度在本次比賽中大幅提升。這一研究成果，也被另一AI國際頂會CVPR 2021收錄，引發了行業的高度關注。
網易伏羲提出的人類表情編碼，能夠構建一個緊致、連續的表情空間。將其作為主干網絡，可以幫助提取與身份特征無關的表情特征，提升下游任務的效果。另外，由于三個賽道的任務存在一定耦合關系，網易伏羲的框架提出了一種從物理層面到抽象層面的串聯多任務結構，改善了數據類別不均衡的問題。
（網易伏羲提出的多任務串聯框架）
據悉，人類表情AI感知技術應用場景廣泛，可服務游戲、數字文旅、心理測試等領域。以游戲為例，采用人類表情AI感知技術后，AI能夠根據視頻等信息，更準確地感知人類情緒并做出合理自然的回應。借助網易伏羲模型提取到的表情特征，一段由語音驅動、自動合成的NPC表情動畫，能夠更細膩、傳神地表現游戲人物的情緒。這有利于進一步提升AI合成動畫的質量、縮短游戲研發周期、降低制作成本。
（網易伏羲語音驅動表情動畫自動合成素材來源：《天諭》手游）
（網易伏羲語音驅動表情動畫自動合成素材來源：《逆水寒》端游）
據了解，網易伏羲正在基于該技術，為一款新游戲開發與角色表情相關的一系列AI互動玩法。近期，玩家就可以在該游戲公測中，實時調整游戲角色的表情和神態，精準表達自己的喜怒哀樂，在虛擬世界中體驗堪比真實世界的人際互動樂趣。
網易伏羲成立于2017年，是國內專業從事游戲與泛娛樂AI研究和應用的頂尖機構，已發布80多篇AI頂會論文，擁有100多項專利，在虛擬人、智能捏臉、AI創作、AI反外掛、AI對戰匹配、AI競技機器人等多個領域領先技術。目前，網易伏羲正在向游戲、文旅、文娛等產業開放AI技術及產品，目前已服務超100家客戶，應用日均調用上百萬次。
