喜馬拉雅在國際會議挑戰賽中突破語音重疊難題斬獲第一 加速AI創新
近日,2023年國際頂級語音會議ASRU(IEEE Automatic Speech Recognition and Understanding,自動語音識別與理解)的多通道多方會議轉錄挑戰賽(M2MeT2.0)圓滿結束,喜馬拉雅珠峰實驗室取得了卓越成績,榮獲冠軍殊榮。
ASRU研討會是IEEE語音和語言處理技術委員會(SLTC)的旗艦技術活動,每兩年舉辦一次,匯集了來自學術界和工業界的頂級專家和研究人員,共同探討廣泛的語音識別與理解問題。本次M2MeT2.0挑戰賽是ASRU 2023年的重要賽事,旨在解決離線會議室中語音重疊的轉錄難題。會議場景作為典型的多人自由交談的"雞尾酒會場景"一直是語音識別領域的難點和關注焦點,對于開發會議場景的語音人工智能和探索相關問題的工業級解決方案具有重要意義。
值得一提的是,喜馬拉雅并非首次參加ASRU的M2MeT挑戰賽。在首屆M2MeT挑戰賽中,喜馬拉雅與中國科學技術大學合作,在說話人日志賽道中榮獲第三名,并且取得了僅有4.05%的日志錯誤率。首屆挑戰賽的評估指標是字符錯誤率(CER),只轉錄音頻對應的文本,不考慮說話人標簽。基于首屆的成功,M2MeT2.0挑戰賽將著重于說話人相關的評估,推動多說話人語音識別系統的實用化,并設立了限定數據和不限定數據兩個子賽道。
為了應對這一挑戰,喜馬拉雅珠峰實驗室從語音識別基礎框架出發,展開了混疊語音檢測技術和說話人日志技術等方面的技術探索。在本次M2MeT2.0挑戰賽中,喜馬拉雅在限定數據集和開放數據集兩個子賽道上均取得了第一名的出色成績。
今年的M2MeT2.0挑戰賽數據集包含了真實、多場景、多模態的大規模數據,涵蓋了不同規模和布局的多種會議室,模擬了各種家具、不同主題的例會以及各種室內噪音。其中包括人聲、電視聲、風扇空調聲、鍵盤聲、開門/關門聲、氣泡聲等重疊交錯的聲音,為比賽增添了挑戰性。通過使用麥克風陣列記錄遠場音頻和耳機麥克風記錄近場音頻,確保了對應說話人的語音準確轉錄。這一數據集對于多說話人語音識別和語音重疊問題的研究具有重要的學術意義,并為尋找工業級解決方案提供了真實且多樣化的數據資源。
M2MeT2.0挑戰賽數據集中所有說話人的母語均為漢語,喜馬拉雅通過產學研相結合的方式積極參與其中,致力于為中國本土語音識別技術的發展作出貢獻。在M2MeT2.0挑戰賽中,喜馬拉雅展示了出色的說話人和語音識別技術(ASR)展現出了卓越的性能,其珠峰實驗室團隊通過自研的說話人識別、語音增強和語音識別等模塊的優化和經驗,在語音重疊和多說話人環境下取得了顯著突破。借助深度學習和神經網絡模型的結合,喜馬拉雅珠峰實驗室能夠準確識別和分離多個說話人的語音,并實時轉錄。
喜馬拉雅相關技術不僅在ASRU 2023年M2MeT2.0挑戰賽中得到驗證,還已應用賦能于喜馬拉雅AIGC內容生產中。目前,喜馬拉雅自動語音識別(ASR)技術已廣泛應用到了喜馬拉雅App的AI文稿功能,對喜馬拉雅平臺中無文稿的聲音內容進行語音轉寫,并輸出相應的文字,從而便于聽眾更好地理解聲音內容。同時,對于已有原始文稿的聲音內容,喜馬拉雅的AI文稿功能通過超長音頻與文本的對齊技術,將聲音與文稿進行時間戳對軌,實現聲音播放與相應文字的同步高亮,讓用戶能夠更便捷地享受邊聽邊看的內容消費體驗。
除了ASR技術,喜馬拉雅的TTS(語音合成)技術也處于行業前列,并已經廣泛被運用于評書、新聞、小說等多種內容的制作中,喜馬拉雅通過將自主設計單獨的韻律提取模塊融入到HiTTS 技術框架,完美復現了單田芳的“聲音”。據悉,喜馬拉雅已用單田芳的AI合成音上線了超過100多張專輯,總播放量超過1億。
多年來,喜馬拉雅一直在AI語音技術領域進行深入研究,其珠峰實驗室長期專注于語音合成、情感分析、語音識別等領域的研究和創新。通過參與ASRU 2023年M2MeT2.0挑戰賽并獲得冠軍,喜馬拉雅進一步鞏固了在語音技術領域的領先地位,并展示了在解決復雜語音場景下的出色能力。
作為備受用戶喜愛的在線音頻平臺,喜馬拉雅一直秉持著以科技賦能文化的理念,不斷將技術與創作者、用戶相結合,提升內容生產效率并提供卓越的內容體驗。喜馬拉雅也將持續通過科技賦能和產學研相結合的方式,將先進而智能的語音技術與聲音相結合,為用戶提供卓越的語音技術產品和服務。
