“荔枝音頻處理目標就是兩個字：清靜——清晰、安靜。讓用戶聽得更清晰、更真切、更好。”荔枝集團技術副總裁劉曉宇談及音頻技術要攻克的幾個難點時一針見血地提到。
隨著疫情下直播、在線社交、在線課堂、在線會議等快速發展和元宇宙產業不斷壯大，音頻技術在其中扮演的角色越來越重要。但當下流行視頻直播、音視頻群聊、1對1語音匹配聊天等社交場景，卻常常伴隨吵鬧的環境噪聲，如鍵盤敲擊聲、家里寵物吵鬧聲、兒童哭鬧聲等，這些都會通過互動場景傳送到接受者耳中，語音社交過程充滿干擾。
近日，從位于大灣區“中國音頻第一股”荔枝集團獲悉，該公司大灣區的音頻技術團隊使用硬件或軟件降噪、不同軟件降噪算法、降噪與場景結合等方法,引入AI降噪，可以有效抑制互動文娛場景下音視頻通話過程中的背景噪聲，并保證語音無損傷，最終有效提升在多種復雜場景下的實時互動體驗。目前，荔枝集團音質高保真的降噪技術領跑全球。
荔枝集團技術副總裁劉曉宇此前參加華為開發者大會
1. 大灣區團隊AI降噪實現強降噪、高保真，領跑世界
隨著疫情在線互動娛樂普及，直播互動文娛場景重要性凸顯。荔枝集團音頻技術負責人魏敦曉介紹，不同的在線場景對于音頻高音質的體驗需求不一樣。比如教育類場景中，其著重在于知識的獲取和聲音清晰，及時互動；會議類場景則看重語音的流暢度和清晰度；而文娛場景中，除了有趣的內容吸引用戶外，音頻的高音質體驗和互動性功能，是讓用戶愿意持續參與的其中一個最重要因素。
隨著算力持續增長，基于大數據訓練的AI語音降噪算法具有強大的能力，使實時AI語音降噪算法在互動娛樂場景中成為可能。相比于傳統的降噪算法，荔枝集團技術團隊自研的 AI 降噪的效果有巨大提升，對直播場景可能經常會遇到敲鍵盤、喝飲料、背景討論等噪聲能進行有效抑制乃至降低到最低影響。
“互動娛樂業務場景中要求對全頻帶進行降噪，考慮到CPU性能和降噪處理時間，采用一種混合架構來對全頻帶進行降噪，低頻采用AI模型處理，高頻采用傳統降噪處理。”魏敦曉表示。
在大量的用戶使用和反饋中，荔枝集團音頻技術團隊發現，互動娛樂社交產品使用場景中，瞬態噪聲占比較多，特別是觸碰聲、吃薯片等居家場景這類聲音占比很大。
荔枝集團技術團隊利用站內海量的語音樣本，訓練的這個 AI降噪模型，能夠過濾掉不需要的聲音，因此每個人的音頻都可以更加清晰傳遞到接收者耳朵里，即使大家同時發言，特別是荔枝App內多人語音連麥場景下。“AI降噪與傳統降噪相比，有更強的降噪能力，但對語音損傷的可能性較大，但是荔枝AI降噪對語音幾乎沒有損傷，使每個人的聲音高保真地傳輸。”
此外，荔枝集團音頻研發人員選擇業務占比前10的手機機型進行大量實驗和反饋，確保主流平臺以低音質損傷、高性能、低功耗方式運行，使用戶的設備不卡、不燙。
據介紹，荔枝集團在音頻互動文娛場景下的音質高保真的AI降噪技術已經領跑全球，為大灣區乃至國內下一步的互動娛樂場景下音頻娛樂沉浸式體驗開發奠定了良好的基礎。
2． 互動娛樂場景理解新突破
音頻行業AI技術發展到目前，算法、數據外場景和行業知識成為了一個關鍵。發展就是要讓聲音做到“聲臨其境”。消滅所有會影響現場感的因素像噪聲、回聲、雜音等，然后根據所處的真實或虛擬的環境，重塑其中的音源和空間感知。
荔枝APP常見場景是直播+連麥的場景，即主播大部分時間是單人直播，用戶一般以聽眾角色收聽，但有時也可以通過點代表連麥的按鈕上線，主播收到連麥請求后，若通過，則此用戶可與主播在RTC的系統里進行實時互動。
主播可以依賴強大的主播引擎為直播添加音樂或音效播放、也可以調用調音臺進行聲音美化或通過變聲增強互動的娛樂性。此場景下，多個主播在房間中進行互動或娛樂表演，而用戶既可以收聽、也可以上麥和主播們互動社交。主播或用戶是處在一個RTC系統里，而聽眾既可以加入RTC系統，也可以通過CDN進行拉流。
要做降噪首先就是做聲音理解，通過聲音理解去分析場景中各種音頻。用戶玩荔枝社交產品時候，喜歡吃著薯片、敲著鍵盤、喝著冰鎮汽水，然后各種觸碰聲音。生活中噪音類型很多，甚至是在家做飯的聲音、家用電器掃地、臺風天氣風噪。這些聲音要處理好的話，行業內公認技術是最難的。
“深入理解降噪需要先理解我們的產品要解決什么噪聲，再去降噪抑制這些噪聲，這是跟業務場景很貼合的一種創造。”
荔枝集團音頻技術魏敦曉介紹，互動娛樂場景相比其他場景，其技術差異方向主要在不同外設的接入、多條通道的支持、AI變聲需求、聲音的理解以及鏈路音質的提升等方面。跟會議場景聲音源主要來源采集輸入通道不一樣，文娛場景為了豐富娛樂性，在主播端要支持音樂播放通道、音效播放通道、屏幕共享通道等。當主播進行才藝表演或播放音樂時，整個互動娛樂場景對于音質的要求就會提高。從音頻體驗來講，要讓用戶像在本地一樣聲臨其境沉浸式的參與到互動場景當中，不受各種身邊噪音輸入干擾，這也成為了音頻行業的一大技術難點。
“荔枝音頻的AI降噪是找到那些噪音的特征進行針對性的降。AI就是喂它什么，它就能干什么。我們把敲擊聲、碰撞聲、噪音灌到這個學習系統里，AI認識了這個東西，后面可以把它處理掉。”荔枝集團技術人員會針對性錄一些聲音訓練算法。
不過，荔枝集團技術副總裁劉曉宇也補充到，在主要語音場景上，算法帶來的差異并不大（硬件會掩蓋差距），在一些硬件不覆蓋的場景，比如音樂場景，屏幕分享中的視頻聲音場景，對音質有較高要求，這要求在核心算法上有突破，“目前看，這對整個行業都是比較大挑戰，團隊正在做相關的技術研究以應對將來的場景。”
有大廠的業內資深人士評價此項技術表示，荔枝集團的AI降噪在音質保護方面達到了“出乎意料的高水準”。
荔枝集團技術副總裁劉曉宇總結，隨著元宇宙的到來，用戶對聲音的質量、沉浸式體驗要求越來越高，接入設備的效果、低延時、空間音頻技術、環境聲學模擬等，均是目前音頻互動娛樂需要攻克的難點。荔枝集團技術團隊正在不斷奮力向前，繼續推動中國互聯網音頻社交技術處于世界領先地位。
