音視頻社交軟件 Clubhouse 的估值較 3 個月前又翻了兩番。當地時間 4 月 19 日,Clubhouse 宣布完成 C 輪融資,估值已達 40 億美元。
而這只是實時音視頻通信大爆發中的冰山一角。
在馬斯克“直播帶貨”的催化下,越來越多的語聊房產品出現,Facebook 也被爆出即將推出 Clubhouse 同類競品。不僅如此,在線辦公、在線教育、泛娛樂場景中對實時音視頻的需求也在激增。
得益于 5G、RTC 等技術的發展,一間語聊房、或是活動直播間、在線課堂等都可以快速完成搭建并發布,進一步刺激實時音視頻市場。以融云實時音視頻服務為例,開發者只需三步,就可以在 30 分鐘內快速集成音視頻能力:
l 第一步,申請開發者注冊,官網會發送 App key 等信息,下載 SDK。這一步驟通常十分鐘內可以完成。
l 將下載好的 SDK 集成到自己的開發工具里,初始化 SDK,然后加入房間。初始化 SDK 可幫助初始化設備、音視頻相關參數等。
l 發布自己的音視頻流和訂閱別人的音視頻流。
5G 時代需要更便捷的 RTC 技術服務
為何市場需要快速集成實時音視頻的能力?
一方面,在 5G 的作用下,許多傳統互聯網場景中正在嵌入實時音視頻功能。另一方面,專注應用層面的廠商需要以最小的成本,最快的速度上線功能,以支撐產品的發布和運營。
融云 CTO 任杰認為,5G 給 RTC 市場帶來兩大方面的變化。
一是 5G 的寬帶和延時有較大提升,所以未來高清的、低延遲的音視頻通話將會成為主流。在 4G 網絡之下,實時音視頻通話主流的為 720p,1080p 穩定性略有不足。而在 5G來臨之后 ,1080p 甚至是更高清的 4K、8K 通話場景會普遍增加。
二是增加各種物聯網設備接入。此前 RTC 實時音視頻領域中,主要是移動端、PC 端應用。其他物聯網設備如車機、攝像頭、大屏設備等接入較少。任杰認為,在 5G 到來之后,各種物聯網設備的接入場景也會增加。從技術層面看,5G 解決延遲問題之后,大量設備都可接入,許多實時操作系統 ATOS ,以及 Linux 在 RTC 領域的應用場景也會變得更加主流。
5G 的到來孕育了許多新生的實時音視頻應用場景,這也意味著,RTC 技術服務商需要提供更好的支持。
“我們無論何時何地都要能提供高清、穩定、流暢的音視頻體驗。”任杰總結,RTC 領域相關技術很多,但融云的業務目標僅此一個。當然,在呈現給用戶優質的音視頻體驗背后,融云會去解決網絡帶寬限制、音視頻處理等等技術問題。
RTC 技術服務商在做什么?
在高清、穩定、流暢的音視頻服務,以及“30 分鐘快速集成”背后,RTC 技術服務商要做的工作很多。
通常,RTC 技術棧可以分為兩方面:端上的處理和 server 端的處理。
端上的處理,主要為聲音和視頻的編解碼。編解碼完成后會進行系列聲音和視頻的前處理,前處理包括回聲、降噪,嘯叫抑制,聲音增益,3A 算法等。server 端類似端上處理技術,如錄音錄像等,但更側重傳輸層面,如網絡的優化等。
網絡優化又可以分成兩大部分:對抗弱網,分布式網絡和調度。無論是5G、4G 還是 WiFi,只要是無線信號,都會遇到信號遮擋、衰減的問題,表現為網絡不太穩定,經常在瞬時的丟包會比較大,延遲也可能會突然變大。
另外,端點設備接入網絡路由之后,在兩個端或是多個端之間進行實時音視頻流的傳輸,需要經過多個網絡節點。那么哪一套路徑能讓端點更好地接入,使傳輸流更穩定,便是網絡路由的策略,也是分布式網絡與調度要解決的問題。
對于這些問題,融云從以下三方面做了優化:
第一,弱網對抗相關算法的優化,包括重新定義一些算法,對隨機丟包和帶寬受限,要嚴格區分并且能夠快速反應等。
第二,動態路由策略方面,融云會做一些提前探測,動態檢查鏈路。大概可在3~4秒之內發現鏈路變壞的情況,并立即重新調度,包括服務端、負載的一些調度,即分布式部署。
第三,全球網絡的部署,融云音視頻使用大量 IaaS,也和全球的一些機房合作,盡可能多地部署節點。同時對這些節點的狀態進行實時監控、擴容、增加節點等。后臺也有音視頻質量的 QoE 系統監控整個的網絡,實時進行調優。
做開發者的支持方,而非競爭對手
“我們是 PaaS 提供方,會向上做 aPaaS,但不會直接做 to c 的產品”,任杰表示,只要復用程度較高,融云就會考慮將其向上封裝,幫助開發者的使用更加貼近場景化,但融云始終是面向開發者服務,因此不會做 to c 產品,和開發者客戶形成競爭關系。
以語聊房為例,融云為語聊房應用提供的支持集中在技術層面,使其呈現出的聲音效果更好。
在開發者花了 30 分鐘快速集成一個語聊房應用之后,融云還會再根據業務場景做 SDK 調用和開發,以便開發者可以更快速地實現使用混音、添加背景音樂、麥位管理、網絡信號展示等各種功能。
一是語聊房中麥位的相關控制。任杰表示,麥位支持依靠信令管理,因為有多年 IM 領域的積累,信令是融云的傳統優勢,并且在語聊房方面融云也有一套完整的技術支持,可以更容易、更輕松地完成麥位管理。二是實時音視頻中聲音的相關處理,包括美聲、變聲,各種音效,混音之后的聲音效果等等。
任杰指出,由于 RTC 領域涉及到許多具體的音視頻概念,以及音視頻相關的質量控制,開發環境有一定復雜度。SDK 本身越場景化,就會越容易集成,因為這對于開發者來說是隱藏技術細節的,所以大家提出應該往 SaaS 化方向發展。
“在一定程度上我非常同意。對于我們 PaaS 能力的提供方 ,也最希望降低開發者成本,所以我們也在往上做,往 SaaS 和 PaaS 之間,做 aPaaS 能力。比如我們在提供音視頻能力之外,也提供 MeetingLib 整套的控制信令體系,和音視頻流的一些操作直接相關。 ”
此時開發者使用這種 SDK,就無需太關注音視頻流的一些處理。比如需要禁麥時,就在MeetingLib里通過一個標準接口操作。反之,如果沒有MeetingLib,開發者也可以用RTCLib自己做,但是就需要自己在應用側發禁令,或者調用 IM 能力去給每個人發禁令,禁掉每個人的麥克風。
“所以我們往上做一層,開發者就不用關注每一道具體流程,每一個用戶的狀態。”任杰表示,這就是他們目前正在做的。
此外,在客戶支持層面,融云也總結出最需要支持的兩類問題。
一類是 SDK 接入,即開發集成相關問題。任杰透露,客戶一般會先看文檔,或者是融云提供服務的支持體系,工單、支持群,以這種方式去幫助客戶完成集成工作。但由于大多數開發者對音視頻技術棧較為陌生,在遇到一些非通用的具體開發概念時會有難處。
對此,融云會在相關文檔中提供概要性說明,如編碼、幀率、碼率等基本概念的說明等。此外還有一些程序性說明,詳細描述 SDK 集成流程;提供 quick demo 以輔助開發者快速使用和集成。
另一類則是質量相關的支持。因為音視頻在實時通話過程中受網絡影響相對較大,端點網絡可能出現問題。“在這個過程中可能需要排查一系列的問題,我們也有自助平臺——北極星。”任杰稱,北極星本質上是音視頻的一套 QoE 體系。這套體系會記錄每一通通話;全部過程中音視頻流的傳輸情況,包括傳輸的碼率,卡頓率,是否有黑屏等系列數據指標,數據曲線;開發者也可以在平臺上自助查詢通話質量,統計指標等。
下一代 RTC 市場
作為 RTC 市場技術服務商,融云最近正在做更新鮮的嘗試。
5G 催生了更多 VR 應用,很快,VR 直播應用也會到來。融云已和 VR 行業多家企業達成合作,目前為其提供遠程維修、技術指導等服務。“隨著 5G 的推廣,娛樂業真正大規模的 to C 場景會逐漸出現。”
泛娛樂應用是下一代 RTC 應用的一大場景,除了正在爆發的語音房之外,還有直播、狼人殺、劇本殺、KTV 等等,以及不久的將來與 VR 融合的新場景。
此外還有辦公類應用,包括會議場景,監控場景等。任杰舉例,比如在公安、保安,應急指揮工作的監控場景中,也會涉及到一些設備的接入,包括 GB28181 的支持,SIP 的支持等等。在線教育場景中也涉及到許多細分應用,如小班課、大班課、大直播、雙師等等。
近期,為了更好的賦能開發者探索更多新鮮應用,融云還發起 20 萬分鐘免費音視頻通享活動。凡是開通實時音視頻功能的用戶,立享每月免費200,000分鐘,視頻最高可支持1080P 超高清分辨率。
在 RTC 應用爆發的當下,融云作為通信云領域引領者,結合多年 IM 領域能力,已經可提供覆蓋全通訊場景的技術服務。
任杰表示,融云的優勢來自多方面:融云是公有云的 PaaS 提供方,IM 也做了很多年,而 99% 以上的 RTC 場景中都會用到 IM 相關能力,二者結合,融云會有很大的優勢;此外,融云擁有非常專業的大規模團隊,并且在音視頻技術上大力投入,不斷迭代技術。“我們一家服務商可以通過‘RTC+IM+PUSH’的整合通信能力,以一套SDK覆蓋所有通信場景,只要找我們融云一家就可以完成這件事。”