即將于3月26、27日上演的THE9“虛實(shí)之城”沉浸式虛擬演唱會(huì)第一場(chǎng)——“晝·造夢(mèng)”已經(jīng)進(jìn)入倒計(jì)時(shí)，作為使用全球比肩技術(shù)的國(guó)內(nèi)首場(chǎng)沉浸式虛擬演唱會(huì)，演出將平臺(tái)的技術(shù)優(yōu)勢(shì)融入內(nèi)容呈現(xiàn)之中，搭建了一場(chǎng)擁有豐富想象空間的虛擬大Show。
不久前，官博釋出最新一批演出場(chǎng)景概念圖，其中有異域風(fēng)情十足的神廟、有科技感拉滿的電子空間、也有來(lái)自宇宙的星環(huán)。在過(guò)去的傳統(tǒng)演唱會(huì)中，這樣沉浸式的場(chǎng)景營(yíng)造和豐富的場(chǎng)景變換是無(wú)法想象的。
正如愛(ài)奇藝首席技術(shù)官兼基礎(chǔ)架構(gòu)和智能內(nèi)容分發(fā)事業(yè)群總裁劉文峰所說(shuō)：“當(dāng)技術(shù)應(yīng)用于娛樂(lè)行業(yè)時(shí)，首先要看技術(shù)是否給用戶帶來(lái)價(jià)值。”而在制作團(tuán)隊(duì)的采訪當(dāng)中，我們能夠窺探到XR技術(shù)和影視級(jí)LED寫(xiě)實(shí)化虛擬制作技術(shù)融入線上演唱會(huì)所帶來(lái)的震撼魅力。
XR技術(shù)不是新東西，但能和創(chuàng)意碰撞出新舞臺(tái)
XR技術(shù)在演唱會(huì)的制作運(yùn)用當(dāng)中，最重要有兩點(diǎn)，一方面是調(diào)試與更新并行的實(shí)時(shí)測(cè)試。據(jù)THE9演唱會(huì)執(zhí)行制片人吳磊介紹，這次搭建了專(zhuān)屬的虛擬測(cè)試間，模擬整個(gè)XR舞臺(tái)，擁有完整的流程，這是過(guò)去所沒(méi)有的。另一方面，技術(shù)團(tuán)隊(duì)和導(dǎo)演團(tuán)隊(duì)的認(rèn)知溝通也非常重要，“導(dǎo)演團(tuán)隊(duì)一開(kāi)始只有內(nèi)容設(shè)想，但具體怎么做、為什么不能做、要做多久這些東西都需要技術(shù)團(tuán)隊(duì)進(jìn)行培訓(xùn)，我們起碼要理解技術(shù)的內(nèi)容邏輯。”總導(dǎo)演譚寅子說(shuō)道。
XR技術(shù)應(yīng)用于演唱會(huì)、晚會(huì)已漸成趨勢(shì)，劉文峰認(rèn)為，將游戲領(lǐng)域應(yīng)用廣泛的XR技術(shù)遷移至娛樂(lè)領(lǐng)域，是為了讓用戶擁有更加沉浸的觀看體驗(yàn)。“XR在真正的C端，特別是游戲領(lǐng)域的應(yīng)用已經(jīng)很成熟了，消費(fèi)者接受度也很高，現(xiàn)在我們把電影、綜藝、演出的創(chuàng)意，和這種技術(shù)兩相結(jié)合，一碰撞就形成新的東西。”
作為技術(shù)團(tuán)隊(duì)參與演唱會(huì)的制作，跟導(dǎo)演團(tuán)隊(duì)之間會(huì)出現(xiàn)哪些需要解決的溝通挑戰(zhàn)？
劉文峰：很多。互相之間語(yǔ)言體系就不一樣，在XR這個(gè)概念上技術(shù)團(tuán)隊(duì)的描述方式和導(dǎo)演團(tuán)隊(duì)的理解方式是不一樣的，諸如此類(lèi)還有很多。所以需要大家花時(shí)間針對(duì)一個(gè)目標(biāo)共同討論解決方案，然后再對(duì)齊大家的認(rèn)知。就這一個(gè)方法，沒(méi)有別的方法，包括現(xiàn)場(chǎng)大概有幾十個(gè)工程師、產(chǎn)品經(jīng)理、研發(fā)人員等等，并不是只看不做，而是直接在現(xiàn)場(chǎng)研發(fā)，有任何需要做代碼調(diào)整的就現(xiàn)場(chǎng)修改上線了。目前這種做項(xiàng)目的方式，將來(lái)可能都會(huì)產(chǎn)品化，形成一個(gè)個(gè)新的演出形態(tài)。
XR技術(shù)真正應(yīng)用到劇綜、演藝表演，或是類(lèi)似的規(guī)模化、高效應(yīng)用的場(chǎng)景時(shí)，還需要解決哪些關(guān)鍵的問(wèn)題呢？
劉文峰：最大的挑戰(zhàn)在于實(shí)時(shí)性，與用戶之間的互動(dòng)是否能夠做到流暢和自然。它和傳統(tǒng)的制作非常不一樣，和用戶之間的互動(dòng)越實(shí)時(shí)，給這個(gè)節(jié)目帶來(lái)的不確定性越高，而這個(gè)不確定性是考驗(yàn)創(chuàng)意的，考驗(yàn)內(nèi)容制作團(tuán)隊(duì)的，考驗(yàn)現(xiàn)場(chǎng)導(dǎo)演的臨時(shí)反應(yīng)的，也考驗(yàn)準(zhǔn)備的充分程度的。所以這類(lèi)內(nèi)容制作將來(lái)的方式、團(tuán)隊(duì)的組成和結(jié)構(gòu)以及創(chuàng)意方式等有可能會(huì)有很大的變化。
影視級(jí)LED寫(xiě)實(shí)化虛擬制作技術(shù)，成為“不穿幫鏡頭”的必備
據(jù)了解，此次演唱會(huì)應(yīng)用了四面LED大屏組成演出舞臺(tái)，用以提高場(chǎng)景的真實(shí)感。眾所周知，起步之初的XR表演并不是真正使用LED進(jìn)行場(chǎng)景搭建，而是先利用綠布拍攝再進(jìn)行后期加工，藝人在表演中無(wú)法與場(chǎng)景進(jìn)行互動(dòng)。“LED則能夠?qū)h(huán)境投射在人的皮膚、穿戴上，增加了真實(shí)感，這是LED的優(yōu)勢(shì)。”執(zhí)行制片人吳磊介紹。
同時(shí)，這種技術(shù)的變化會(huì)對(duì)未來(lái)娛樂(lè)產(chǎn)品帶來(lái)內(nèi)容與形態(tài)上的革新，“這些正在開(kāi)發(fā)和使用的技術(shù)會(huì)在制作流程、內(nèi)容成本、內(nèi)容質(zhì)量上帶來(lái)非常大的改善和提高。”愛(ài)奇藝副總裁楊海濤說(shuō)。
這次的LED屏幕跟一般會(huì)議活動(dòng)演出的LED屏原理是一樣的？
劉文峰：原理類(lèi)似，但是會(huì)比普通屏的精度高，像素和像素之間的距離要小。有一個(gè)數(shù)據(jù)是《曼達(dá)洛人》拍攝用的屏也是中國(guó)的屏，它就是兩個(gè)像素點(diǎn)之間的距離是2.84mm，我們這次比它還要小。這個(gè)點(diǎn)距決定了你站近一點(diǎn)，也看不出屏幕上每個(gè)點(diǎn)的顆粒。并且接口之間的縫隙是感覺(jué)不到的。
在演唱會(huì)的準(zhǔn)備上有遇到過(guò)技術(shù)挑戰(zhàn)嗎？
劉文峰：軟件的挑戰(zhàn)更大，傳統(tǒng)的將LED屏作為節(jié)目的一部分時(shí)，很多是應(yīng)用于氛圍的，比如說(shuō)舞臺(tái)上的LED屏，后面播出的內(nèi)容是用來(lái)渲染當(dāng)前的演出氛圍，我們稱(chēng)之為是風(fēng)格化的一種用法。而這次的虛擬拍攝，LED屏上是一個(gè)真實(shí)的三維場(chǎng)景，這個(gè)三維場(chǎng)景在屏幕上的渲染符合透視原理。這個(gè)透視原理相當(dāng)于攝像機(jī)看到的畫(huà)面等同人的眼睛看到的真實(shí)世界的畫(huà)面。但真實(shí)世界顯然有很深的深度信息，在屏幕上都是用平面展現(xiàn)出來(lái)的，這意味著攝像機(jī)在有輕微的位移時(shí)，屏幕里所有的像素都要立刻計(jì)算出新的數(shù)據(jù)，包括經(jīng)過(guò)的所有屏幕顯示出來(lái)的內(nèi)容，經(jīng)過(guò)GPU 3D引擎計(jì)算出當(dāng)前攝像機(jī)偏移以后新的位置和大小。這些是基于虛擬拍攝的一套復(fù)雜的軟件系統(tǒng)和一套很強(qiáng)的算法做成的。這個(gè)技術(shù)也運(yùn)用在部分影視制作中，不同之處是電影拍出來(lái)之后還要經(jīng)過(guò)后期制作，并不是直播的，而我們是完全直播的場(chǎng)景，所以挑戰(zhàn)大太多了。
據(jù)了解，演唱會(huì)里有一個(gè)雨林場(chǎng)景，需要做到不穿幫的實(shí)景化場(chǎng)景，其中有哪些需要解決的具體技術(shù)難點(diǎn)嗎？
朱梁：第一要點(diǎn)關(guān)于分辨率，我們希望看上去是真的，高清的模式已經(jīng)不行了，因?yàn)槠聊幻娣e很大，如果完全用高清的視頻，一旦擴(kuò)大到寬十幾米寬、高六米的屏幕，就會(huì)很粗糙。因此我們用引擎當(dāng)中的nDisplay技術(shù)，只渲染我們真正給觀眾播出的畫(huà)面，它的質(zhì)量是最好的。還有一個(gè)難點(diǎn)，解決屏和屏之間怎么互相影響，以及色彩準(zhǔn)確度的問(wèn)題。在不同的視角看屏，顏色的偏轉(zhuǎn)是不一樣的，這是LED的燈珠制造決定的。怎么改變彼此的亮度和色彩的關(guān)系，使你不管在哪個(gè)角度觀看都是完整無(wú)縫的影像，這些地方是很困難的。包括和地屏的配合，地屏容易出現(xiàn)高低不平的情況，鞋或舞臺(tái)上的道具可能會(huì)損害我們的屏，我們也需要想保護(hù)措施，既可以保護(hù)屏幕，也可以維護(hù)色彩的一致性和更高的畫(huà)質(zhì)。
從世界范圍內(nèi)看，這次使用的技術(shù)有什么優(yōu)勢(shì)呢？
朱梁：據(jù)我了解，在北美，算上美國(guó)和加拿大，伴隨著《西部世界》和《曼達(dá)洛人》的應(yīng)用，大家已經(jīng)看到LED的優(yōu)勢(shì)。現(xiàn)在至少已經(jīng)有200個(gè)攝影棚在北美地區(qū)開(kāi)始裝配LED拍攝的方案了，這會(huì)是一個(gè)非常大的潮流。
技術(shù)和娛樂(lè)結(jié)合的演出，核心在于技術(shù)還是故事。在技術(shù)和故事融合的方面，有沒(méi)有故事可以分享？
劉文峰：核心是我們?nèi)绾文軌驅(qū)⒓夹g(shù)和創(chuàng)意兩者進(jìn)行結(jié)合。我一直認(rèn)為我們科技和創(chuàng)意的“雙螺旋”特別有意義，互為依賴(lài)。光有技術(shù)沒(méi)有辦法娛樂(lè)大眾，光有創(chuàng)意沒(méi)有辦法很好的實(shí)現(xiàn)與展現(xiàn)，也沒(méi)有辦法讓用戶體會(huì)到新的技術(shù)，所以是互為存在的。
比如這次整個(gè)的演唱?jiǎng)?chuàng)意是每個(gè)成員心目中有一個(gè)自己理想的世界，我們?cè)谔摂M世界里創(chuàng)造出來(lái)。正好也契合愛(ài)奇藝的企業(yè)使命，讓夢(mèng)想綻放，讓快樂(lè)簡(jiǎn)單。先讓這九個(gè)小姑娘的夢(mèng)想綻放了，她夢(mèng)想說(shuō)我要在什么地方跳舞，好，就像上帝說(shuō)要有光一樣的。真要物理搭不僅僅是難，而是可能無(wú)法實(shí)現(xiàn)。當(dāng)你看到演出會(huì)發(fā)現(xiàn)，要去外星球、在獅身人面像前跳舞，還可以從中間分開(kāi)到里面去，很驚人的。其實(shí)是沒(méi)有邊界的，可以海闊天空的想，然后技術(shù)同步實(shí)現(xiàn)，往盡可能滿足演員的方向去發(fā)揮。這次投入也是非常大的原因也在這了。
