近日，第 50 屆國(guó)際噪聲控制工程會(huì)議（INTER-NOISE 2021）通過(guò)在線方式舉辦，由網(wǎng)易云信音頻實(shí)驗(yàn)室完成的兩篇論文被大會(huì)收錄，獲得國(guó)際公開(kāi)認(rèn)可。
本次入選的兩篇論文聚焦在 AI 音頻降噪和 AI 音樂(lè)檢測(cè)兩個(gè)方向，突破多個(gè)音頻核心技術(shù)問(wèn)題，自建國(guó)內(nèi)行業(yè)中首個(gè) AI 音樂(lè)檢測(cè)模型，引起了從業(yè)者的強(qiáng)烈關(guān)注。與會(huì)者認(rèn)為，隨著 AI 應(yīng)用的不斷加深，音視頻處理技術(shù)會(huì)隨之提高，將帶動(dòng)產(chǎn)業(yè)朝著高質(zhì)量方向發(fā)展。
（郝一亞博士正在進(jìn)行論文演講）
在大會(huì)期間，網(wǎng)易云信音頻算法專(zhuān)家郝一亞博士連續(xù)兩天發(fā)表論文演講，進(jìn)一步闡釋網(wǎng)易云信在將 AI 深入應(yīng)用音視頻方面所做的努力和嘗試，探討 AI 助力音視頻技術(shù)發(fā)展的可能性，并表示愿意與業(yè)內(nèi)同仁共同進(jìn)步，推動(dòng)音視頻的長(zhǎng)足發(fā)展。
INTER-NOISE：物理聲學(xué)歷史最悠久的國(guó)際學(xué)術(shù)會(huì)議
國(guó)際噪聲控制工程大會(huì)（INTER-NOISE）是由國(guó)際噪聲控制工程學(xué)會(huì)（I-INCE）主辦的系列國(guó)際學(xué)術(shù)與技術(shù)交流大會(huì)，是物理聲學(xué)歷史最悠久的國(guó)際學(xué)術(shù)會(huì)議。主辦方 I-INCE 成立于 1974 年，由代表著噪聲控制專(zhuān)業(yè)的國(guó)際專(zhuān)業(yè)協(xié)會(huì)和機(jī)構(gòu)組成，目前成員包括來(lái)自40多個(gè)國(guó)家的50多個(gè)組織。
作為知名國(guó)際專(zhuān)業(yè)會(huì)議，INTER-NOISE 大會(huì)每年在美洲、歐洲和非洲以及亞太地區(qū)輪流舉行，主題聚焦在世界各地的噪音控制問(wèn)題上，并且因其專(zhuān)業(yè)性和覆蓋范圍而有著巨大影響力——比如1972年在華盛頓第一次召開(kāi)時(shí)，美國(guó)噪音控制法案（US Noise Control Act）正在審議之中，與會(huì)人員的積極交流和呼吁推動(dòng)了后續(xù)法案的通過(guò)。
隨著技術(shù)和各項(xiàng)基礎(chǔ)能力的發(fā)展，現(xiàn)在的音頻技術(shù)關(guān)注點(diǎn)和幾十年以前，甚至十幾年以前都有很大差別，噪聲控制在現(xiàn)在及未來(lái)應(yīng)該如何發(fā)展，發(fā)揮怎樣的作用都是近年來(lái)在著重思考的問(wèn)題，2019 年的會(huì)議主題是“噪聲控制工程的影響”，2020 年的主題則是“噪音控制以改善環(huán)境，噪音和振動(dòng)控制技術(shù)的進(jìn)步”。
本屆大會(huì)繼續(xù)由 I-INCE 發(fā)起，美國(guó)噪聲控制工程學(xué)會(huì)（INCE-USA）和 Pro Acustica （巴西）共同主辦，美國(guó)聲學(xué)學(xué)會(huì)、SAE 國(guó)際、西班牙聲學(xué)學(xué)會(huì)和韓國(guó)噪聲與振動(dòng)工程學(xué)會(huì)參與聯(lián)合舉行。雖然因疫情原因，今年的活動(dòng)只能以線上方式進(jìn)行，但大會(huì)還是進(jìn)行了精心策劃和準(zhǔn)備——包括在第一屆會(huì)議活動(dòng)地點(diǎn)舉辦儀式，紀(jì)念自 1972 年第一屆國(guó)際噪聲大會(huì)以來(lái)噪聲控制取得的 50 年進(jìn)展，以及通過(guò)聚焦的議題展望和推測(cè)未來(lái) 50 年可能取得的成就，會(huì)議主題也定為“噪聲控制的下一個(gè) 50 年”。
2篇技術(shù)論文：突破多個(gè)音頻核心技術(shù)問(wèn)題
作為會(huì)議最重要的事項(xiàng)之一，本屆大會(huì)按照已有的嚴(yán)格文章審核流程和標(biāo)準(zhǔn)——由三位細(xì)分領(lǐng)域的專(zhuān)家匿名交叉審核，最終再由 Technical Chair 最終選拔——收錄了來(lái)自 25 個(gè)國(guó)家和地區(qū)的作者的 635 篇學(xué)術(shù)論文。
網(wǎng)易云信音頻實(shí)驗(yàn)室被 INTER-NOISE 2021 收錄的兩篇論文分別是《一種基于神經(jīng)網(wǎng)絡(luò)的針對(duì)瞬時(shí)噪聲控制的低計(jì)算復(fù)雜度噪聲抑制方法》（A Neural Network Based Noise Suppression Method for Transient Noise Control with Low-Complexity Computation）和《一種使用梅爾頻譜和頻譜通量的基于卷積神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)音樂(lè)檢測(cè)方法》（A Real-time Music Detection Method based on Convolutional Neural Network using Mel-Spectrogram and Spectral Flux）。
（來(lái)源：INTER-NOISE 2021官網(wǎng)）
第一篇論文聚焦在 AI 抑制“瞬間噪聲”的問(wèn)題，“瞬時(shí)噪聲”是指鍵盤(pán)聲、敲門(mén)聲等這類(lèi)突發(fā)性的聲音。網(wǎng)易云信音頻實(shí)驗(yàn)室針對(duì) RTC 場(chǎng)景，成功研發(fā)落地了輕量級(jí)的、適合全平臺(tái)終端的 AI 音頻降噪算法。該算法使用了優(yōu)化的諧波相關(guān)性（Modified Harmonic-Correlation），和獨(dú)創(chuàng)的損失函數(shù)（Loss Function），在一個(gè) RNN（Recurrent Neural Network）模型上進(jìn)行訓(xùn)練。在終端運(yùn)行時(shí)，算法結(jié)合了網(wǎng)易云信自研的 NENN 推理框架，在大幅提升降噪效果（SNRI and Speech Quality）的同時(shí)，保持了一個(gè)極低的運(yùn)算復(fù)雜度。整體而言，網(wǎng)易云信研發(fā)的 AI 音頻降噪算法同時(shí)兼顧了算法效果和計(jì)算開(kāi)銷(xiāo)，不僅適合實(shí)時(shí)處理，還能落地到各種運(yùn)算能力有限的終端設(shè)備中，可以應(yīng)用在包括會(huì)議場(chǎng)景、語(yǔ)聊房場(chǎng)景等目的僅為語(yǔ)音通話的場(chǎng)景中。目前，該算法已經(jīng)應(yīng)用在網(wǎng)易 POPO、網(wǎng)易有道樂(lè)讀等具體的場(chǎng)景，并取得良好的效果。
第二篇論文聚焦在利用卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)“有用信號(hào)”的檢測(cè)和減損。通常來(lái)說(shuō)，在 WebRTC 在音頻處理中，大量的算法都是針對(duì) Speech 信號(hào)進(jìn)行設(shè)計(jì)，整體是一個(gè) Speech EnHancement 系統(tǒng)，但是在 RTC 的場(chǎng)景中，有用信號(hào)（Desired Signal）不僅僅只有 Speech，還有一種常見(jiàn)信號(hào)就是音樂(lè)（比如音樂(lè)主播、音樂(lè)教學(xué)等場(chǎng)景中）。網(wǎng)易云信落地國(guó)內(nèi)行業(yè)中首個(gè) AI 音樂(lè)訓(xùn)練檢測(cè)模型，這是結(jié)合了自研的幀間頻域特征和一個(gè)輕量級(jí)神經(jīng)網(wǎng)絡(luò)，訓(xùn)練出了一個(gè)音樂(lè)檢測(cè)率高、魯棒性強(qiáng)、且計(jì)算開(kāi)銷(xiāo)小，適合在各個(gè)端側(cè)落地的 AI 模型；通過(guò)對(duì)環(huán)境聲音的檢測(cè)，區(qū)分出音樂(lè)和非音樂(lè)場(chǎng)景，并基于此先驗(yàn)信息，對(duì) RTC 中音頻 APM 處理進(jìn)行有針對(duì)性的調(diào)整，在保證語(yǔ)音信號(hào)質(zhì)量的同時(shí)，大幅提高音樂(lè)信號(hào)的質(zhì)量，可以應(yīng)用在包括音樂(lè)教學(xué)、音樂(lè)直播等目標(biāo)傳輸信號(hào)包含音樂(lè)的場(chǎng)景中。
（Music和Noise的檢測(cè)準(zhǔn)確率可以達(dá)到93%以上）
網(wǎng)易云信音頻實(shí)驗(yàn)室：立足前沿厚積薄發(fā)
本次兩篇論文被業(yè)內(nèi)頂尖學(xué)術(shù)大會(huì)期刊收錄，證明了網(wǎng)易云信音頻實(shí)驗(yàn)室厚積薄發(fā)的技術(shù)實(shí)力：不僅能在國(guó)際上被同行認(rèn)可，前沿技術(shù)獲得突破，還能通過(guò)具體的場(chǎng)景發(fā)揮技術(shù)的價(jià)值，帶領(lǐng)行業(yè)不斷向前。
從行業(yè)角度看，RTC 行業(yè)發(fā)展至今已經(jīng)有二十年左右的時(shí)間，從小眾產(chǎn)品變成幾乎人人都會(huì)接觸到的巨大產(chǎn)業(yè)，自然也帶來(lái)激烈的市場(chǎng)競(jìng)爭(zhēng)。隨著行業(yè)逐漸成熟，粗放的市場(chǎng)環(huán)境過(guò)去之后，誰(shuí)能帶給用戶更好的體驗(yàn)誰(shuí)就具有核心競(jìng)爭(zhēng)力，技術(shù)的重要性越來(lái)越突出。另外，實(shí)時(shí)音視頻技術(shù)個(gè)性化場(chǎng)景要求越來(lái)越高，應(yīng)對(duì)的環(huán)境也愈加復(fù)雜，傳統(tǒng)的技術(shù)已經(jīng)很難有大的優(yōu)化空間，所以實(shí)時(shí)音視頻企業(yè)傾向于成立 AI 實(shí)驗(yàn)室或 AI 項(xiàng)目組，專(zhuān)門(mén)負(fù)責(zé) AI 在音視頻中的應(yīng)用研究，為客戶提供更加便捷、易用、專(zhuān)業(yè)的音視頻服務(wù)。
作為行業(yè)內(nèi)首批音視頻 AI 實(shí)驗(yàn)室之一，網(wǎng)易云信音頻實(shí)驗(yàn)室自成立之初便秉承“把身臨其境的音頻感受帶給用戶”的使命感，不斷把握前沿技術(shù)方向，攻克業(yè)內(nèi)最難的技術(shù)瓶頸，將行業(yè)頂尖技術(shù)應(yīng)用到產(chǎn)品中，進(jìn)而實(shí)現(xiàn)用戶體驗(yàn)的全面升級(jí)。
（網(wǎng)易云信音頻實(shí)驗(yàn)室一角）
當(dāng)前，網(wǎng)易云信音頻實(shí)驗(yàn)室擁有 9 名核心成員，來(lái)自北大、中科院、南大、中科大等國(guó)內(nèi)外頂尖高校及科研機(jī)構(gòu)，100%擁有碩博學(xué)歷。實(shí)驗(yàn)室重點(diǎn)研究 RTC 產(chǎn)品相關(guān)的音頻處理技術(shù)，例如回聲消除、降噪、自動(dòng)增益控制等通話中長(zhǎng)期應(yīng)用的算法。同時(shí)，對(duì)最新技術(shù)方向也保持關(guān)注，例如空間音效、基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的AI降噪、場(chǎng)景檢測(cè)、嘯叫檢測(cè)等。
自成立以來(lái)，網(wǎng)易云信音頻實(shí)驗(yàn)室除了保障產(chǎn)品的算法研發(fā)和優(yōu)化需求之外，已提交專(zhuān)利數(shù)十項(xiàng)，獲得網(wǎng)易集團(tuán)創(chuàng)新獎(jiǎng)「0-1 創(chuàng)新獎(jiǎng)」。此次兩篇論文被 INTER-NOISE 2021 的收錄更是進(jìn)一步奠定了網(wǎng)易云信在音頻技術(shù)領(lǐng)域的領(lǐng)軍者地位。接下來(lái)，網(wǎng)易云信音頻實(shí)驗(yàn)室將在基礎(chǔ)算法、模型方面加強(qiáng)研究，結(jié)合具體行業(yè)和應(yīng)用場(chǎng)景，以技術(shù)創(chuàng)新引領(lǐng)產(chǎn)品創(chuàng)新，以技術(shù)升級(jí)驅(qū)動(dòng)用戶體驗(yàn)升級(jí)。
