靜音環境下如何看直播？海外主播講外語聽不懂怎么辦？最近這一需求得到了解決。
關注英雄聯盟LPL夏季賽的用戶不難發現，斗魚官方直播間新增了一項“不同尋常”的功能。當用戶選擇“字幕線路”后，直播間底部即會出現一行動態文字，從BP環節的運籌帷幄，到賽場上的瞬息萬變，解說的激情講解句句不落，直播內容均得到了較為準確的翻譯。
據了解，這是斗魚全新上線的AI字幕功能，它不僅能夠將直播視頻流中的音頻進行實時語音識別轉化為文字，以字幕的形式同步顯示在直播視頻流上，而且支持中、英、韓等多語種互譯。目前，斗魚已將這一功能先后面向數十個直播間開放體驗，覆蓋了英雄聯盟S10、英雄聯盟LPL夏季賽等大型賽事。
行業首創“游戲語言識別模型” 響應速度達毫秒級
通過將機器算法與直播場景結合，斗魚率先突破了AI字幕的技術壁壘。值得注意的是，相較市場上存在的同聲傳譯、影視劇字幕等翻譯產品，在游戲場景內，AI字幕的落地并非易事。
由于游戲直播的特性，主播直播的內容存在大量的游戲術語，尤其是在專業較強的賽事直播中，譬如“腕豪”“雷歐娜”“集火輸出”“陣容強勢期”等，常規翻譯軟件通常難以理解。因此，斗魚AI字幕技術針對游戲直播內容的識別，更“重義”而非“重音”。
與此同時，賽事直播間中解說、游戲和賽場的嘈雜聲音，不僅需要識別，還需要打磨工程協同。才能處理好字幕與語音之間的延遲、字幕懸停時長、斷句等細節體驗。為此，斗魚制定了“定制化游戲語言識別模型”，提升了對硬核語義，如戰隊名、隊員ID、裝備、技能等內容的理解能力，同時過濾“垃圾話”等。并且通過ASR、NLP算法，在主播聲、游戲聲等復雜的語音環境中，實現了高精度識別，并能支持英語、日語、漢語等多種語言的識別與互譯，覆蓋不同人群的語言習慣。
據粗略統計，斗魚AI字幕在保證毫秒級響應速度的同時，翻譯精度亦能保持在90%以上。未來，在使用過程中，受益于日積月累的數據沉淀與機器自我學習，AI對于游戲用語、游戲梗的理解精確度也將逐漸提升，不斷迭代提升觀眾的使用體驗。
支持中、英、韓等多語互譯 拓展多元化場景需求
AI字幕功能上線的背后，是斗魚對用戶使用痛點的精準捕捉，也是對直播產品體驗的嚴格要求，更是對拓展多元化業務的摸索與沉淀。
其一，AI字幕能夠滿足用戶的多元化場景需求，大幅提升了直播觀看體驗。隨著5G技術的演進，用戶觀看直播的場景從住所、網吧等，逐漸向公交地鐵、商場等公共場所轉移。一方面，AI字幕能夠將用戶的雙耳從嘈雜的環境音中解放出來，讓直播的收看更加方便；另一方面，特有的中日英韓多語互譯功能，也能讓大多數用戶能夠看懂海外比賽，削減了觀看過程中的語言障礙。
其二，AI字幕滿足了聽障人群的使用需求。據統計，我國的聽力殘障人士約2780萬人，占全國殘障人群的30%以上。今年兩會的《政府工作報告》也明確提出，數字產品在設計時應當貼合社會中的弱勢人群。而AI字幕的上線能夠解決他們難以理解直播內容的難題，讓廣大聽障人士獲得和正常人一樣地觀看直播。
其三，AI字幕能夠解決海外主播語言不通的痛點，從而吸納更多的海外人氣主播加入斗魚；另一方面，通過對多語種實時互譯技術的打磨，斗魚將有條件支持直接翻譯發布會內容，如蘋果和微軟的新品發布會，從而打開商業合作的多元化前景，為其商業化提供想象空間。
在賽事期間，大量玩家反饋語音識別的便利性，尤其是“靜音環境用戶”在直播間展開了熱烈的討論，尤其表達了對該功能的認可。
據了解，斗魚長期投入技術研發，致力于優化用戶的使用體驗，已在直播技術領域建樹頗多。針對賽事直播場景，斗魚曾推出過實時回放功能、精彩時刻錨點功能，能夠實現對直播內容的全程回顧與快速定位，以及能夠減少直播卡頓的SRT推流技術等。AI字幕功能的推出，也充分體現了斗魚對用戶需求的強大洞察力。隨著平臺技術實力的不斷升級，斗魚將以更加細致化的技術革新，帶給用戶更加極致的產品體驗。
