近日，由國際音頻頂級會議ICASSP（International Conference on Acoustics, Speech, and Signal Processing，國際音頻、語音與信號處理會議）聯合阿里巴巴發起的ICASSP 2022多通道多方會議轉錄挑戰賽（M2MeT）落下帷幕，喜馬拉雅智能語音實驗室和中國科學技術大學合作，在說話人日志賽道獲得第三名。同時，相關論文已經被ICASSP 2022收錄，并受邀于今年5月份在新加坡舉辦的線上/線下會議中進行展示，這是今年喜馬拉雅的第二項研究技術成果得到ICASSP 2022的認可。
此前，喜馬拉雅自研的跨語言語音合成創新技術論文有關跨語言語音合成創新技術的論文已被ICASSP 2022錄用。ICASSP是由IEEE（電氣電子工程師學會）主辦的在信號處理及其應用方面的頂級會議，在國際上享有盛譽并具有廣泛的學術影響力。今年是ICASSP的第47屆會議，會議主題為“以人為本的信號處理”。
而M2MeT挑戰賽是ICASSP2022信號處理大挑戰（Grand Challenge）之一，包括說話人日志和多說話人語音識別兩個賽道，旨在進一步促進該領域的深入研究。喜馬拉雅和中國科學技術大學合作在說話人日志賽道取得了4.05% 的日志錯誤率（DER）結果，名列第三位。 第一、第二名分別由昆山杜克大學的李明教授團隊(2.98%)和騰訊-香港中文大學團隊(3.98%)獲得。
說話人日志技術，也稱說話人分段聚類，通過記錄多說話人音頻數據上屬于特定說話人的語音事件來解決“誰在什么時候說話”的問題，比如在語音聊天室場景中，可以告訴開會者當前誰在說話。同時，該技術也在其他相關的語音處理技術中扮演著重要角色，比如會議轉寫的語音識別，或者為語音分離、VAD等其他語音技術提供關鍵的先驗信息。
會議場景是語音技術應用中最有價值、同時也是最具挑戰性的場景之一。因為這樣的場景包含了豐富的講話風格和復雜的聲學條件，需要考慮到重疊語音、數量未知的說話人、大型會議室中的遠場信號、噪音和混響等挑戰。而此次的M2MeT挑戰賽便聚焦中文會議數據，對參賽團隊提出了挑戰。
為了提高日志準確率，喜馬拉雅和中國科學技術大學合作研發的系統，在語音的預處理上，首先使用麥克陣列技術對信號進行降噪、降混響，使得信號相對純凈，之后使用基于深度學習的聲紋模型和譜聚類方法，對多人遠場數據進行初步處理，并使用多通道標簽融合技術對不同通道的結果進行融合，進一步提升準確率。
由于在挑戰賽的會議場景中，多人同時說話的比例達到30~40%，傳統聚類方法在該場景下會產生極高的漏判錯誤(MISS ERROR)，因此喜馬拉雅創新研發的系統還使用target-speaker VAD將聚類問題轉化為多標簽問題處理，并使用神經網絡進行建模和訓練。在采用多種數據增強和后處理策略后，成功將DER由基線的15.6%降低到4.05%，基本達到了實用要求。
喜馬拉雅已在AI語音技術領域潛心鉆研多年，并在內部專門成立了喜馬拉雅智能語音實驗室這一核心部門，長期專注于語音合成、識別、語音信號處理、編解碼以及智能音效的研究和開發，而這次說話人日志技術的研究成果便來自于這一部門。目前，喜馬拉雅已經在研發類似會議場景的多人同時會議轉寫項目，其中說話人日志解決了誰在什么時候說話的問題，大幅度提升了撰寫效果。未來，喜馬拉雅的說話人日志技術，也將可能被應用到更多場景中，比如語音聊天室，告訴參與者當前誰在說話；又比如喜馬拉雅的AI文稿，說話人日志技術通過提供說話人的信息，有利于進一步提高AI文稿的準確率。
除了說話人日志，喜馬拉雅的TTS（語音合成）技術也處于行業前列，并已經廣泛被運用于評書、新聞、小說等多種內容的制作中，正助力喜馬拉雅在現有的“UGC + PGC + PUGC”內容生態之外，進一步拓展AIGC的可能性。
2021年，喜馬拉雅通過將自主設計單獨的韻律提取模塊融入到 HiTTS 技術框架，完美復現了單田芳的“聲音”，目前已用單田芳的AI合成音上線了超過80張的“單田芳聲音重現”專輯，其中，《毛氏三兄弟》和歷史類作品的聲音完播率遠超過普通人聲作品，為未來出版物大量有聲化提供了新的解決方案。此前喜馬拉雅被ICASSP 2022S收錄的自研跨語言語音合成技術，未來將可能讓我們聽到單田芳先生的“聲音”來播講英文內容。同時，2021年，還有新京報、環球時報、瀟湘晨報、時代周報、海外網、刺猬公社等眾多主流媒體入駐喜馬拉雅，借助喜馬拉雅TTS技術加速制作新聞類音頻節目，讓聽眾有了更多的渠道聽到更權威的新聞。
未來，喜馬拉雅將持續投入語音技術的研發升級，不斷創新和突破，進一步打開對于聲音的想象，讓技術加持聲音、讓聲音服務生活。
