8月22日，“騎到AI背上去”2023釘釘生態(tài)大會在上海舉辦。在數(shù)字員工專場分論壇上，釘釘副總裁、音視頻事業(yè)部負責人趙加雨發(fā)表主題演講，分享了釘釘音視頻在智能化方面的進展和應用，以及基于釘釘AI PaaS，視頻會議場域未來的開放展望。
趙加雨談到，釘釘從4月就宣布要全面接入大模型，完成智能化再造，隨著AI與音視頻的結合越來越深入，釘釘會議里也實現(xiàn)了諸多創(chuàng)新應用，除了之前的實時翻譯、字幕轉寫、智能摘要，這次還發(fā)布了數(shù)字分身代替參會、自然語言控制會議操作、文生虛擬背景三項新功能。其中，數(shù)字分身可以在會議時間發(fā)生沖突時，替代用戶列席參會，并能實時同步相關會議信息和結論。
他表示，未來，釘釘音視頻希望能將更多的場域開放給生態(tài)伙伴，共同構建豐富的、有價值的應用，提升用戶的體驗和效率。同時，釘釘也計劃將音視頻SDK嵌入生態(tài)伙伴的應用中，共同打造優(yōu)質、易用的音視頻解決方案，滿足不同行業(yè)和場景的需求。
以下為趙加雨的演講全文：
體驗和智能化，是釘釘音視頻事業(yè)部過去一年兩個核心的關鍵詞。
在體驗方面，去年我們成立了專項，從內到外做了大量的優(yōu)化，現(xiàn)在釘釘會議的整個界面交互上，會更美觀、更便捷、更沉浸。同時，在底層技術架構上，從采集、播放、編解碼、網(wǎng)絡到服務端，我們也做了全鏈路的優(yōu)化。音視頻尤其是視頻會議，我們開會的時候最基本的訴求就是能夠開好會，聽得到對方的聲音，所以我們在音頻算法、抗弱網(wǎng)方面做了提升，也期待大家可以多使用我們的釘釘會議。
講到智能化，其實視頻會議這個領域在這次大模型之前，就和AI做了非常多的結合，在音頻算法、視頻算法中融入了AI技術。比如，視頻算法相關的AI應用，有美顏、虛擬背景，這些都是大家非常熟悉的場景應用。而音頻算法也結合了AI實現(xiàn)更好的降噪效果，目前，釘釘會議上已經(jīng)支持消除300多種常見噪音，比如汽車喇叭聲、鍵盤敲擊聲，讓用戶開會更專注。
我們在會議里還有一種常見的需求就是字幕，本質上也是AI能力。現(xiàn)在釘釘會議里也全面接入了阿里通義聽悟，支持中英日三種語言的互譯，實現(xiàn)實時的轉寫和翻譯。此外，還有智能導播，大家在會議室開會時，如果有線上同事一起加入討論，就會出現(xiàn)坐得太遠聽不清，或者說個話對方聽不到的情況。我們的蜂鳴鳥音頻實驗室將AI和原創(chuàng)差分陣列技術相結合，可以實現(xiàn)單會議設備10米遠舉例拾音。當發(fā)言人說話時，支持精準的聲源定位，實時跟蹤并放大他的頭像，讓每個發(fā)言人都成為C位，營造更好的對話感。
隨著大模型時代的到來，我們也進行了相關的研究，希望用大模型把釘釘會議重做一遍。今天釘釘推出了全新的AI PaaS智能化底座，并面向生態(tài)伙伴開放。在釘釘會議里，我們利用AI PaaS也實現(xiàn)了非常多有意思的功能。
第一，是會議數(shù)字分身代替開會。職場人士每天都會面臨文山會海，文山現(xiàn)在我們通過智能文檔幫大家解決掉，會海我們也做了一些嘗試，為用戶提供了數(shù)字分身這個能力。如果你會議沖突或者這個會議和你的關聯(lián)度沒那么高，就可以讓你的數(shù)字分身代替你去開。開會過程中，你可以通過釘釘魔法棒的對話框，主動給它設置一些任務，比如關注特定的話題，當有人討論到這個話題時，AI就會自動通知你而且告訴你相關內容。你也可以設定數(shù)字分身每隔幾分鐘給你發(fā)送一個會議總結，還可以主動和數(shù)字分身對話，了解各種信息，比如會議里有哪些人、大家有沒有產(chǎn)生什么爭議，會議結束還會自動推送會議摘要給你。
第二，是用自然語言做會議智能控制。過去有很多用戶吐槽釘釘功能太多，入口不好找，釘釘會議其實也面臨這個問題，雖然我們做了大量簡化，但是釘釘會議這個產(chǎn)品對一些用戶來說使用門檻依然有點高。今天我們通過釘釘魔法棒里的智能助手把功能操作簡化掉，你只需要通過自然語言提出你的需求，AI會自動識別意圖并幫你完成操作，比如會議里人太多的時候，有人不小心開麥了，你去找到這個人并把它靜音掉會比較麻煩，你可以告訴AI把正在說話的人靜音，拉人加入會議的時候也可以直接打字拉人無需關心入口在哪里。通過這些能力，我們讓會議的操作、管理變得更簡單。
第三，是文生虛擬背景。虛擬背景一直很受用戶喜愛，尤其是過去幾年，我們“祖國的小花朵”們把這個功能玩出了花，一會在“太空里上課”，一會在“大草原上上課”，我們日常工作中也會用到，可以有效避免背景雜亂的尷尬。以前大家用虛擬背景除了已有的模板圖片外，自己需要導出去搜索下載圖片上傳，現(xiàn)在不用了，我們通過文生圖自動生成虛擬背景，徹底解放想象力。
接下來，釘釘會議也將通過AI PaaS逐步做應用的開放，幫助合作伙伴做場景升級，未來更多的生態(tài)產(chǎn)品可以嵌入到釘釘會議中使用，比如面試、白板等應用。比如我們近期正在和招聘合作伙伴共創(chuàng)的面試助手，面試過程中對話AI就可以通過簡歷內容、溝通信息得到實時的輔助。我們希望做好體驗和開放，在智能化的時代，和生態(tài)伙伴一起給用戶帶去更多有意思、有價值的場景應用。
