近日，速途元宇宙研究院召開“共話元宇宙XR視界”主題沙龍，旨在對當下活躍的AR/VR市場進行解析及探索，XR將在元宇宙熱潮下釋放新生命力，而年輕用戶群體對于消費級VR、AR終端、游戲、直播的喜愛也孕育出新的消費藍海領域，此次“共話元宇宙XR視界”沙龍也標志未來元宇宙領域依然有著無盡的挖掘空間。
本次沙龍我們邀請到花房集團VP 技術委員會主席唐賡先生，花房集團作為當下在線社交娛樂領域的領頭企業，唐賡先生的出席讓眾多與會業內進行了更深入的思考。在沙龍中，唐賡先生對AR/VR技術在直播中的應用與挑戰進行了解讀，揭開了“元宇宙+直播”模式的全新方向。
唐賡先生簡介：
花房集團VP 技術委員會主席，擁有22年從業經驗，在操作系統/嵌入式系統、系統架構、企業級網絡安全、音視頻編解碼、云計算/云原生架構、AI/AR/VR、元宇宙等等技術領域有多年實踐經驗，擁有多項技術發明專利。曾在雅虎中國、阿里巴巴任職多年，也是原摩比神奇公司創始人/總經理、曾任360技術委員會委員。工業自動化控制專業學士，工商管理學博士。
AR/VR技術
在直播中的應用與挑戰
當下，在元宇宙相關產業中，AR/VR 無疑是最受關注的賽道。AR技術是使用附加數據注釋現實世界場景的最佳方式，隨著智能手機提高其深度感應和處理能力，移動設備上的AR運用成為重要的一環；加之VR沉浸感的體驗優勢，使用者可以完全沉浸于虛擬現實世界中。AR、VR 產業隨著需求和產業鏈推進，開啟了新一輪增長期。
花房集團憑借旗下的花椒直播和六間房，從2006年創立至今，實現了從PC端到移動端的創新，一路上見證了直播產品的更迭。截至2021年12月31日，花椒直播注冊用戶約2.15億名，六間房直播注冊用戶約7890萬名，集團旗下海外社交網絡產品有注冊用戶約9730萬名。現如今，花房集團已擁有多元化的產品和服務矩陣，包括花椒、六間房、花吱、HOLLA、Monkey等十余款產品，服務全球用戶。隨著用戶數量的不斷增加，用戶需求不斷呈現多樣化，也在反推著花房集團對技術創新的持續突破，秉持“用科技連接彼此，讓陪伴傳遞美好”的使命，打造全球具有頂級影響力的在線社交娛樂生態。
隨著直播應用從PC端到移動端的發展趨勢，唐賡帶領花房集團技術團隊不斷突破技術限制，尋找移動端直播的更多可能性。在談及AR/VR技術在直播中應用時，唐賡直言“這是一個有趣的技術領域”。
在唐賡看來，AR/VR技術是元宇宙技術體系中的關鍵環節，無論是AR以虛強實，還是VR虛擬現實，都主要依賴視覺給予用戶實時交互反饋。AR/VR技術不僅僅是大眾所熟知的可穿戴設備（VR頭顯、AR眼鏡），更多是作為底層交互技術的形式存在。
目前，直播領域已經融入了很多AR元素。以花房集團旗下的直播產品為例，花椒直播在移動直播早期(2015/2016年左右)就率先運用美顏、萌顏貼紙等功能，都是AR技術在移動端應用的代表。這種精準疊加的AR特效有效對主播所在的環境、屏幕以及人像做效果增強，大幅提升直播效果。
圖片來源：花椒直播APP
VR技術也在虛擬形象IP直播中大量使用，虛擬現實技術利用現實物理世界中采集到的數據（畫面、動作、角度、力度等），通過計算機圖形算法產生視頻畫面，結合各種輸出設備，將其轉化為用戶可以看到的虛擬影像，再結合實時互動相關技術，最終為用戶呈現出虛擬形象直播/連麥等終端用戶體驗。
在談及AR/VR技術在直播中的挑戰，唐賡認為，主要是目前基于手機攝像頭的虛擬形象VR直播對硬件性能的要求非常高且效果還不是很完美，還有不少硬性限制（比如對于動作遮擋、大角度轉身、大幅度動作等都可能出現識別錯誤），而基于可穿戴動捕設備的方案雖然價格已經比前幾年有非常大幅度的降低，從上百萬甚至數百萬降到了現在的10萬以內，但相對而言目前售價還是比較高，舍得投入的主播相對較少，且目前還存在廠商眾多，協議不互通的情況。
“廠商協議不互通就導致目前無法‘邀請’到其他廠商的虛擬人在同一個場景中出現、互動，還只能是類似傳統互動直播的形式，分屏分窗口展現。”唐賡說道。
“我們還看到存在一些不可逾越的物理定律障礙，比如VR眼鏡為了減少眩暈感需要采用90Hz甚至120Hz以上的刷新率，只留給每一幀畫面8ms-11ms的渲染時間，若采用云計算方案來實現，雖然理論上算力不成為瓶頸，但受光信號、電信號無法超越光速的物理定律限制，數據上行、下行、多人數據同步處理等已經非常困難，如果再加上要求跨國實時互動，則幾乎不可能，所以需要設計非常精巧的架構，做出必要的妥協，隱藏物理距離導致的時延與不一致，盡量保證最好的用戶體驗。”
“元宇宙+直播”
唐賡帶領的花房技術團隊給出了答案
隨著用戶需求的多元化，網絡直播逐漸從娛樂型應用過渡升級為數字多媒體信息分發窗口。如何通過技術的更新迭代來增強用戶個體體驗和用戶與用戶之間的情感聯結需求，成為了花房集團技術團隊的研究課題。而“元宇宙”的爆火，也為花房集團進一步提供了發展思路。
“元宇宙”概念雖然爆火于2021年，但事實上，元宇宙技術在直播中的運用由來已久。早在2018年，花房集團通過產品調研就發現有不少連麥用戶希望以虛擬形象示人，但當時的直播技術還不足以實現這個需求。作為花房集團技術委員會主席的唐賡火速帶領團隊進行技術調研和開發。
“利用蘋果手機剛剛推出的ARKit臉部表情肌識別功能，驅動虛擬形象臉部相應的表情肌，實現虛擬形象的嘴部、眼部、眉毛等都能跟隨真正的人臉表情運動，能很好地通過VR畫面向直播互動的對方傳遞表情、情感等信息，很好地滿足了大V用戶的需求。而當時安卓手機并沒有相應的表情肌識別功能，我們攜手AI表情肌識別供應商，共同研發了針對安卓系統高度優化的版本上線提供給用戶使用。”唐賡回憶道。
此外，唐賡帶領的技術團隊又采用自研的3D引擎，實現了常見的動作捕捉、面部捕捉，迅速切入元宇宙領域并有所建樹。
花房集團今年6月推出的虛擬主播“上古玄兒”，就是在此基礎上誕生的。技術團隊對軟、硬件環境做了大量調優，充分發揮了軟硬件系統的能力，將直播流暢度提升了超過200%，確保了直播畫質、流暢度、特效表現效果都處于理想的狀態，也讓“上古玄兒”以完美的狀態開播成功，受到眾多粉絲的喜愛。
圖片來源：花房集團
據悉，早在2019年，花房集團旗下花椒直播已在直播行業內率先推出“Avatar”，無論是主播還是用戶，都能夠用自己的虛擬形象在平臺內進行互動、社交；在被業界稱為“元宇宙元年”的2021年，花椒數字藝術展示平臺——“花椒粒”上線并首發數字藝術藏品；2022年春節，花椒攜手騰訊云「至信鏈」上鏈多款數字藝術禮物；2022年2月，花椒“舞臺版”虛擬直播間開啟，邀請主播和用戶一鍵邁入直播元宇宙；今年6月，花椒虛擬主播上古玄兒首次開播即收獲上萬粉絲……成功示范了技術團隊在元宇宙領域的創新基因和上線效率。
速途元宇宙研究院認為，花房集團在直播技術上的探索正是元宇宙技術多年發展的縮影，從VR直播、AR美顏技術、虛擬人交互、數字藝術藏品的出現，花房集團為直播生態的不斷優化升級提供了巨大的空間和可能性，隨著技術的不斷融合，“元宇宙+直播”還將煥發出更加蓬勃的生命力。
時代浪潮不停
元宇宙之下的互聯網老兵思考
圖片來源：花房集團
作為在互聯網前沿技術應用多年的技術專家，唐賡憑借著對新興技術的敏銳觸覺，不斷進行技術的升級和更新，帶領團隊進行了多項社交娛樂產品的開發。
談及元宇宙的出現，唐賡介紹道，“初期對元宇宙的理解，可以歸納為包含區塊鏈經濟系統的游戲。現在理解，已經不僅僅是游戲。游戲只是元宇宙內容的一種落地形式，基于元宇宙技術的遠程會議、在線辦公、城市規劃、工業建設、教育培訓、在線購物、虛擬直播等等都可以是元宇宙的落地場景。”
唐賡認為，元宇宙的底層技術將在直播中呈現出更完整的體現和融合。他舉例說明，在元宇宙場景和VR技術加持下，將變幻出更多選擇，在繼續用固定視角傳輸音視頻內容的同時，還可以傳輸音頻和動捕數據，在參與各方的系統上用3D引擎重新渲染和展現，實現參與各方自由視角的顯示和互動，為內容的創作和藝術表現提供了無限的可能。
在提及元宇宙技術安全方面，唐賡表示，數字化程度越高，安全挑戰越大。“元宇宙”作為數字化的高級階段，將重新定義網絡安全。元宇宙技術的發展對內容安全提出了極大挑戰，如何對虛擬空間的內容進行AI審核、如何保證內容安全合規等問題日漸凸顯。花房集團將利用自身優勢與用戶圈層進行深度鏈接，加深擴大社會各界對網絡安全的重視。
作為工商管理學博士，唐賡對于元宇宙技術人才管理與儲備也有自己獨特的管理思考。他認為，選拔人才的標準不是一成不變的，而是因人而異、因崗而異。元宇宙所覆蓋的技術面較廣，這也對技術團隊和技術開發人才提出了大量新要求，多方位發展的全能型人才才能適應市場的發展，在項目成本、進度、目標等等各種制約因素下達成合理的項目產出。
“元宇宙”是由物質世界、信息世界互相影響、互相促進的虛擬共生的世界，這也正與花房集團旗下的產品業務屬性相匹配。唐賡帶領花房集團技術團隊獨辟蹊徑，將元宇宙與傳統直播相結合，是一種全新的嘗試。而花房集團多年的技術沉淀，也為“新概念＋老行業”的融合提供了堅實的技術保障。
在多元與共創的元宇宙場景中，花房集團作為全球頗具影響力的在線社交娛樂服務提供商，將不斷完善產品矩陣和服務體系，創造更多元宇宙的新型應用場景，為用戶提供更為極致的沉浸體驗。未來，我們期待花房集團在社交娛樂領域全球化布局元宇宙的模式或將成為下一個互聯網新風口。
