今日,新華社音視頻部、新華社貴州分社聯合出品的微電影《橋下人家》上線,網易云音樂音視頻實驗室鯨云AI為該片提供獨家視頻配樂解決方案,這也是鯨云AI編曲首個在視頻配樂場景上的實際應用。
貴州西部的烏蒙山,是典型的喀斯特地貌發育帶,溝壑險峻、溶洞叢生,山脈之中的北盤江將云貴兩地隔絕開來,長期以來,這給當地村民的出行與安全帶來極大困擾。而“世界最高橋”北盤江大橋的建成通車,使得天塹變通途,不僅打通了村民們的出山路,更拓寬了當地村民發展致富的思路和門路。微電影《橋下人家》便取材于當地真實的人物和事件,以主人公小馬哥和其他村民的親身經歷來表現北盤江大橋的建設給當地村民帶來的巨大變化,反映出黨的十八大以來,黨和國家事業取得的歷史性成就與變革。
影片中小馬哥的人物原型為貴州省六盤水市水城區都格鎮龍井社區村民馬選軍,片中其他人物如羊倌、幺妹等也均由當地村民本人本色出演。
據了解,由于網易云音樂音視頻實驗室的AI編曲能力可以實現高匹配、快響應的AI編曲創作,與《橋下人家》這部作品時間緊、任務重的后期制作要求不謀而合。網易云音樂鯨云AI針對配樂難點提供了獨特的AI創作解決方案,通過影片小樣、文字腳本理解視頻內容,搭配與視頻情節、人物情緒、環境氛圍契合的音樂,包括關鍵幀的卡點、進出場以及轉場的音樂裁剪等。
在技術實現中,鯨云AI配樂技術運用視頻幀率檢索技術,對視頻中的動態差異較大的相關段落進行精準標記,以此確定關鍵時間節點,通過時間點的串聯來確定視頻整體的動態曲線。之后根據視頻的標簽主題來定位視頻整體調性,也包括情緒的大致范圍,加上之前所得的視頻動態曲線,結合定位出該視頻配樂的音樂復雜度曲線。之后運用AI伴奏技術,輸入確定好的主題,自動渲染出與該主題適合的BGM。
以微電影《橋下人家》AI配樂為例,該BGM充分考慮了影片情節的動態發展和人物的情緒變化,加入音樂復雜度曲線之后,還通過修改配器、旋律、和弦、節奏、風格等元素達到與影片貼合匹配的效果。
由于機器端到端一鍵生成總有不夠完美之處,AI伴奏的編輯界面還為創作者提供了實時修改編輯和弦進行、旋律線、節奏等功能,甚至提供多達數十種不同的音樂風格來實時渲染原始曲目,該界面的簡易模式更支持通過拖拽音樂復雜度曲線來完成自定義編輯。
作為一個年輕化的團隊,網易云音樂音視頻實驗室的多數成員均來自海內外知名高校和實驗室。團隊自成立后便基于音樂AI領域的需求,在技術上不斷深耕,布局覆蓋音樂內容分析、自動編曲、AI編曲、歌聲合成、歌聲美化、音視頻互動等。此前,在國際音頻檢索領域的頂尖賽事MIREX中,網易云音樂音視頻實驗室憑借“旋律抽取”技術奪得冠軍并刷新了世界紀錄,其提出的“魯棒”指紋算法方案也已成功上線,為網易云音樂所有業務提供穩定的聲紋識別服務。而《橋下人家》影片原聲配樂屬于智能音樂生產的大領域,通過本次與新華社的合作實踐,團隊也探索到了音畫互動的編輯交互邏輯,更加激勵團隊成員創新性地完成一些技術的搭建與沉淀,為后續更多有價值的應用場景提供難得的探索機會。
作為中國最大的音樂社區和最受年輕一代喜愛的音樂平臺,網易云音樂一直致力于帶給用戶最好的音樂播放體驗。未來,網易云音樂將持續優化平臺音樂內容生態和聽歌品質,讓用戶盡情感受音樂之美。
