【ITBEAR】火山引擎在視頻云大會上發布了一項創新成果——基于歷史古建三維實景重建的「虛擬直播間」。這一場景利用AI生成3D內容和大場景重建技術，為山西高平金代二郎廟戲臺和北京正乙祠戲樓這兩座百年建筑創建了3D數字資產，并將其應用于抖音的戲曲直播中，旨在讓古建筑在現代生活中煥發新生，同時助力戲曲等非物質文化遺產的傳承。
火山引擎視頻云負責人Yongyuan強調，隨著AI視頻時代的到來，用戶對沉浸式體驗的需求日益增強。如何讓歷史古建的數字資產真正融入現代人的日常生活，對技術團隊提出了嚴峻挑戰。
「虛擬直播間」通過結合3DGS先進技術與自研大場景建模技術，實現了對真實場景的高質量3D幾何構建與外觀重建渲染。該方案不僅視覺效果出眾，還支持美術管線編輯，能夠實現復雜的光效和陰影渲染，使直播表演更加真實，為觀眾帶來更加沉浸式的體驗。
山西高平市寺莊鎮王報村二郎廟內的戲臺，作為我國現存時代最早、木構特征及紀年最確切的神廟戲臺，成為了「虛擬直播間」的首個場景。火山引擎多媒體實驗室團隊采用基于視覺的三維重建方式，高效、低成本且高精度地完成了對這座800多年歷史的露天戲臺的三維重建。
為了豐富場景細節，技術團隊還借助AIGC的能力，為戲臺生成了“守舊”、石獅子等裝飾元素和四季不同的效果?；鹕揭娴腁IG3D方案基于大模型的生成能力，采用創新的圖生3D模式，能夠快速精準建模，將建模時間縮短至以分鐘為單位。
圖說：火山引擎視頻云負責人Yongyuan在大會發布「虛擬直播間」
另一個「虛擬直播間」場景是北京正乙祠戲樓，這座始建于清康熙6年的木制結構室內劇場，被譽為“中國戲樓活化石”。在三維重建過程中，技術團隊注重還原劇場演出的美感，并添加了現實中難以呈現的效果，如復雜的光效和色彩渲染，使這座百年戲樓在手機屏幕上呈現出美輪美奐的效果。
自2024年5月起，「虛擬直播間」邀請了多位抖音上的京劇主播進行體驗測試，包括國家二級演員和仍在戲曲學院讀書的00后大學生。他們表示，「虛擬直播間」為他們提供了更多選擇，使直播更加生動有趣。
北京京劇院老生演員、國家二級演員王寧是首位使用「虛擬直播間」的主播。他表示，「虛擬直播間」讓他無需綠幕背景，在相對日常的環境下就能使用虛擬場景進行直播。技術團隊還自研了智能運鏡算法，配合主播的移動產生專業的運鏡效果，并生成了京劇里常見的道具“一桌二椅”，使直播更加專業且富有傳統韻味。
Yongyuan表示，項目的初衷是讓現代戲曲主播站在虛擬古戲臺上表演，觀眾既可回望古代建筑之美，又能品鑒主播們典雅的曲詞、婉轉的行腔，足不出戶穿越時空，更加生動直觀地了解文化遺產的歷史和價值。
