東京奧運會已正式開幕,最新的IT技術也在進入奧運賽場。
本屆奧運會引入的 AI 輔助打分,扮演了“助理裁判”的角色。這項技術可以追蹤選手動作并實時轉換為三維立體圖像,再由系統根據圖像對選手的身體旋轉和扭動等動作進行分析,最終依據打分標準判斷出選手技術的完成度。可以說是機器視覺在全球頂級運動賽事最核心領域的應用了。
圖1:AI捕捉相機畫面中選手動作
回到國內,工業界對于圖形與音視頻算法的探索與實踐也在不停向前。近期,由中國(長沙)馬欄山視頻文創產業園(以下簡稱馬欄山視頻文創產業園)和芒果 TV 聯合舉辦的第二屆“馬欄山杯”國際音視頻算法大賽(以下簡稱大賽)剛剛結束賽程。
頂級賽事背書,全球 Top 高校與一線大廠 AI 人才齊集
在輸出眾多國內頂級的視頻節目之外,馬欄山視頻文創產業園與芒果TV也是音視頻領域實踐最新 AI 技術的先行者。過去幾年來,他們持續投入資源與資金培養扶持新興的 AI 技術團隊,已進行到第二年的“馬欄山杯”國際音視頻算法大賽即在此背景下誕生。
作為頂級的音視頻算法賽事,大賽規模龐大,評委與參賽者級別也保持了最高水準。截止到大賽結束,本屆大賽參賽隊伍總數達到 1959 個,參賽選手共 2052 人次相比去年,參賽隊伍數量增長51.4%。他們來自全球 Top 級科研院校與國內一線互聯網科技大廠,是 AI 科研學術與工程界一線的實操者,也是 AI 領域最炙手可熱的人才。
圖 2:國內Top 60 參賽院校與部分國際院校
目前大賽正式賽階段已全部結束,參賽者們圍繞視頻補全、視頻推薦、音樂節拍檢測三大賽道展開技術的交鋒,最終每個賽道分別有十個團隊勝出。
三大賽道獲勝名單公布,超高實力選手高水平發揮
一、視頻補全賽道
今年大賽的視頻補全賽題,是由視頻行業非常重要的技術需求催生而生。視頻后期制作希望借助機器學習技術,通過 AI 分析視頻中的點位和圖像,實現劣跡藝人抹除、影視劇穿幫抹除、logo 抹除、水印抹除等操作。參賽者需要以大賽提供的視頻片段數據為基礎,進行模型訓練,用 AI 算法實現視頻缺失區域的補全。
視頻補全賽道共有參賽隊伍 451 個,參賽人次 473,眾多參賽選手中,不乏國內各大AI與算法賽事的獲勝者。其中,獲得第一名的單人參賽選手惠政,是目前在阿里達摩院實習的西安電子科大博士,也是大賽去年視頻修復賽道的第二名。獲得第二名的是“景-artii”團隊,3名成員來自華南理工大學與帝視科技公司,他們同時取得了音樂節拍檢測賽道的第三名。第三名的兩位參賽者都是阿里達摩院員工。視頻補全賽道前十名名單如下:
圖 3:視頻補全賽道前十名
在比賽中,視頻補全賽道評分的基準分是 68.7054,而前十名參賽選手得分已遠高于此,可見選手的技術實力與在此屆大賽中的高水平發揮。
另外,該賽道冠亞季軍的方案設計也各有特色。第一名選手惠政采用端到端的訓練方案 STTN,即用于視頻修復的時空聯合 Transformer,通過自注意力機制同時填充所有輸入幀中的缺失區域,并使用 L1 +時空對抗性損失來優化 STTN。為了加速和減少顯存,他使用了半精度模型并對輸入進行裁剪。訓練過程分為兩步:首先使用較小的訓練 patch (512 * 288)、L1 損失+對抗損失對網絡進行訓練;然后使用較大的訓練 patch(1024*448)、L1 損失對網絡進行微調。測試階段使用 self-ensemble 策略對結果進行增強。
第二名則設計了基于循環的 U-net 級聯+注意力融合的深度學習模型,利用循環結構去充分利用幀間信息。
第三名團隊采用了 STTN 和 DSTT 兩個深度模型,針對不同的 mask 類型使用不同模型,更有針對性地解決對應視頻補全的問題。他們在實戰中發現 DSTT 在文字類型水印效果較好,STTN 則在其它類似數據上更優,基于此,他們使用 DSTT 訓練文字水印數據,STTN 訓練其它數據,并在訓練中采用了多種策略去優化網絡。
以下為在 100 個補全視頻下的前三名性能分析:
二、視頻推薦賽道
大賽的第二個賽題是視頻推薦,目標是通過數據驅動的設計與架構,提高視頻推薦點擊率以及人均有效觀看時長。本賽題以芒果 TV 真實推薦業務場景為原型,設置豐富的特征維度以及海量的數據信息,希望選手設計出一套精準有效的推薦模型,以幫助提升視頻推薦的效果,改善平臺用戶體驗。
視頻推薦賽道中共有參賽隊伍 627 個,參賽人次 651。本賽道是數據科學領域高手的聚集地,前三名都是國內外算法競賽常客,均在 Kaggle 上獲得過多枚金牌。其中第一名和第三名更是在Kaggle 全球數據科學家最高總排名第 12,獲得 Kaggle Grandmaster 稱號。視頻推薦賽道前十名名單如下:
圖 4:視頻推薦賽道前十名
本賽道參賽者對賽題的設計思路也值得深挖。第一名獲勝選手黃鐘山采用了基于召回+排序+回歸的架構來預測本次賽題的多任務目標。召回層設計中,他從相關視頻 fvid 的歷史曝光點擊記錄、用戶主站觀看行為等層面設定了7種策略。在排序層,主要是借助多維度的特征工程,例如曝光日志點擊日志數據、用戶主站行為序列數據等。模型構建上,他選擇了lightgbm,并結合了負采樣、cross validation等策略。
獲得第二名的獲勝 OTTO 團隊采用基于召回+排序+多分類的架構,他們在特征工程上下了很多功夫,主要有基礎特征、用戶興趣和時間特征三類。例如轉化率、頻次特征、用戶歷史對tag的點擊和轉化、fvid下vid最近一次點擊時間距離當前時間距離等。最后通過lightgbm對特征進行建模,得到預測結果。
第三名的獲勝的江離團隊采用了基于粗排+精排+二分類的架構,江離團隊使用的信息與模型和前兩名團隊類似,只不過在架構思路上有所不同。該團隊采用粗排+精排+二分類預測的設計。其中,粗排為每天召回3000w+樣本量,使用了50個左右特征;精排根據每個did-fvid選取top60作為候選,最后通過二分類模型輸出預測結果。
三、音樂節拍檢測賽道
大賽的第三個音樂節拍檢測賽道中,參賽者基于AI算法對音樂中節奏節拍的學習和訓練,實現如節拍踩點匹配視頻的創新應用。本賽題提供數據集,選手需要通過深度學習算法實現對節拍 beat 和重拍 downbeat 的檢測并標識時間點位,同時也可使用傳統音頻算法。
音樂節拍檢測賽道共有參賽隊伍 452 個,參賽人次 467,前三名來自清華大學、湖南大學、廈門大學和華南理工大學。第一名 mg13078804B 團隊選手吳健是清華大學碩士,第二名 fuqianya 團隊選手王志宇是湖南大學在讀碩士,而第三名是帝視科技和華南理工大學的校企聯合團隊。其他前十名選手還有來自中國銀行、華為等知名企業,以及多次奪得AI競賽名字的人工智能領域優秀人才。音樂節拍檢測賽道前十名名單如下:
圖 5:音樂節拍檢測賽道前十名
對于音樂節拍檢測賽題的分析與實現,賽道冠亞季軍三個團隊方案各有不同。第一名選手吳健在本次比賽中基于 TCN 網絡和 GRU+MLP 網絡,提出了兩階段的解決方案,同時通過模型集成策略,進一步提高結果準確率。為了減少預測耗時,特征提取采用固定 fft size,效率最高使用 torch.stft。另外,吳健在節拍處理時發現 DBNBeatProcessor 并不適合賽題數據,他通過 autocorrelation 對網絡預測的結果進行優化,提高了最終結果的準確率。
第二名 fuqianya 團隊選手王志宇提供了一種遷移學習方案。通過 BiLSTM 網絡,首先在比賽提供的 GTZAN 數據集進行預訓練,然后在驗證集上進行微調,使模型更適應比賽驗證集的音樂風格。為了平衡模型的速度和精度,他僅使單一模型進行推理。
賽道第三名十一月的肖邦提供了深度學習與規則后處理結合的新解決方案。通過對音頻數據使用不同的解析方式,他們對同一個網絡訓練出兩個模型,之后對兩個模型的預測結果通過概率取平均融合。
縱觀獲勝隊伍對賽題的拆解和設計實操,我們能看到,像 AI 模型需要千億級別的參數不停訓練一樣,AI 應用的也早已不是停留在理論層面的探索,而是進行了大量地與現實工程問題結合研究與實踐。芒果 TV 音視頻算法大賽匯集了國內一線音視頻項目的真實痛點,也正是因為此,連續兩年的大賽都吸引到了國內外 Top 級 AI 高手參與賽題競技。
本次大賽匯聚了視頻節目制作方與知名高校、技術大廠的Top 級 AI 高手。為他們提供彼此競爭、相互激發的場景,助力產出 Top 級的音視頻算法方案,這也是“馬欄山杯”國際音視頻算法大賽更重要的意義所在。作為頂尖賽事的算法大賽,“馬欄山杯”國際音視頻算法大賽促進了AI機器學習領域多方的共贏,也將成為 AI 音視頻行業必不可缺的重要盛會。CSDN將持續跟進大賽后續發展與賽事最新技術實踐,敬請關注。
