當說到“AI音樂”時,你能想到什么畫面?機器人唱歌?自動生成歌曲?
事實上,AI音樂已經不算新鮮事。用人工智能創作音樂,最早可以追溯到上個世紀50年代。1951年,“人工智能之父”阿蘭·圖靈就嘗試過用電腦生成音樂并錄制下來。2016 年,索尼計算機科學實驗推出的大型歌曲和風格數據庫 Flow Machines,創作出了“披頭士”風格的旋律。
如果說早些年,AI音樂創作主要集中在純樂曲和氛圍音樂。那么近兩年,AI在作詞、編曲、伴奏、演唱方面一條龍的“音樂才華”無不讓人大開眼界。
從國內第一代虛擬歌手“洛天依”開始,人工智能在音樂領域興起了越來越多的浪潮:音樂家Taryn Southern與人工智能合作創作專輯、微軟打造了會編曲、作詞、唱歌的“智能少女”小冰、韓國SM公司推出含AI概念的女團aespa、網易發布AI原創單曲……“AI+音樂”的熱度持續升溫。
AI歌曲合成
隨著AI音樂應用的不斷突破,其背后歌聲合成技術,也越來越受到關注。歌聲合成與語音合成相比,既有相似性,也有其特殊性。
歌唱合成技術是將樂譜信息和歌詞轉換為歌唱語音的技術。相較于語音合成(TTS),音樂是流媒體,對作品的流暢度要求更高。因此,歌曲合成需要輸入更多維度的音樂標注信息(音高、音符的時值),同時要求輸出的歌聲更有感情的起伏,聲音展現還要有連續性,技術實現上來說更為復雜。
像人的學習一樣,AI歌曲合成系統也需要通過語料庫學習海量的歌曲內容,才能“創作”出新的音樂作品。普通學生學習一首曲子需要至少一周時間,但是有了AI技術的加持,將優質的歌曲數據輸入到算法中進行模型訓練,只需要很短時間即可完成一首歌的創作。
高質量數據庫 化解AI歌曲合成難點
盡管技術在不斷進步,但歌曲合成仍然存在兩大難點。
一是音域的限制。由于每個歌手都有適合自己的音域范圍,對于超出音域范圍的歌曲,AI歌唱合成效果就會受到一定的影響。
其次,就是對高質量數據的需求。在對聲音數據的處理上,歌聲比語音所包含的專業因素更多。歌聲的音高、音強、音長等變化組合繁復,需要標注人員對音樂有較深的理解,才能根據錄制的人聲演唱中所包含的音高、旋律節奏、演唱技巧、歌詞等內容進行精細標注。
合成歌聲的質量在很大程度上取決于數據庫的質量。如何用更少的數據,讓歌曲合成效果更真實、自然,獲取更穩定的體驗效果,是 AI歌曲合成技術突破的重點。
標貝科技深耕AI能數據服務領域多年,在語音數據生產方面沉淀了先進的技術能力以及大量音樂人才儲備。面對復雜度更高的歌聲合成需求,標貝科技設計了一套專業化的數據處理流程,能夠實現快速產出高質量的不同音色、不同風格的歌聲數據。
目前,標貝科技擁有近5000首不同風格類型的中文歌曲數據庫。均由經過訓練的專業歌手完成的整個數據的采集,并且標貝科技全程進行監督和指導,以確保數據質量。
在音頻標注的標注格式方面,標貝科技采用了兼容性強、記錄音樂信息精確性高的 MusicXML格式,對時值、升降號、節拍、譜號等樂譜屬性進行記錄。
同時,為了減少標注的錯誤率,標貝在重音、頓音、假聲、連音等音符的相關信息的區分和記錄上做了大量工作。甚至在對較難把握的顫音的處理上,也有專門的識別和標注記號。
如上圖示意,標貝科技在標注過程中給出了旋律音符對應的音高節奏、轉音、氣口、休止符、歌詞信息以及對應的拼音信息。
歡迎對以上歌曲合成數據感興趣的行業伙伴聯系我們~