“永遠愛你,家駒”。7月3日晚上,當最后一首《海闊天空》歌聲響起時,抖音評論區迅速刷屏,速度快到肉眼看不清,這場31年前的演唱會,在2022年重新浮現,喚起了無數人的記憶。當晚累計觀看人次超1.4億。
一位看演唱會從頭看到尾的用戶說,Beyond是他的整個青春,直到現在,他也會在KTV唱Beyond的歌。與他青春時代用影碟在電視上看到的畫面相比,7月3日抖音版演唱會通過火山引擎畫質和音質修復技術,實現了畫面更高清,音效更逼真。還有用戶說,超清修復后,看到了黃家駒細微的表情和眼中的光。
“整個修復的時長大約是一周左右。”火山引擎多媒體實驗室研究員趙世杰說?;鹕揭嫘迯图夹g團隊都是90年后出生的,《海闊天空》《光輝歲月》《真的愛你》這些歌他們從小聽到大。接到處理Beyond演唱會的舊影像時,他們都很興奮,希望通過算法盡可能地呈現一個清晰生動的演唱會。據了解,對于有價值的珍貴歷史影像,比如老資料片、老紀錄片等內容,抖音和西瓜視頻將會繼續開放免費公益修復。同時,這些得到驗證的修復技術也將通過火山引擎應用在其他領域。
修復背后
演唱會修復這件事其實并不算太新鮮,今年4月,也有平臺直播過張國榮修復版演唱會。與其他平臺相比,抖音Beyond演唱會在修復音頻上下了更大功夫。
火山引擎音頻技術團隊研究員舒曉峰播放了一段修復前后對比的音效。修復前,雖然歌聲動聽,但時不時會聽到滋啦作響的背景音。修復完成后,背景聲變干凈了。
這背后用到了降噪算法、音頻超分算法、響度算法三個音頻修復技術。舒曉峰談到,由于過去的錄音設備技術落后,會伴隨著有噪聲干擾、帶寬不足、混響、響度等各種問題,通過這些音頻技術,可以修復聲音瑕疵。
演唱會修復大部分都是由AI完成的,有小部分需要人工。比如這場重映演唱會其實由2部分組成,一部分是“Beyond Live1991生命接觸演唱會”,另一部分是紀念音樂會精選內容。兩部分演唱會音量不一樣,如何把它們合二為一,讓聽眾聽不出差別,就需要手動調試,避免出現前面的一部分演唱會聲音小,后面一部分演唱會聲音大的問題。
“音質修復之前關注相對會更少點,我覺得未來音質的修復也會流行起來。”舒曉峰說,如果算法效果足夠好,能把任何一個音質差的音頻,能變成一個音質特別好甚至達到錄音棚錄的質量,這將對用戶產生很大價值。
除了音頻修復,視頻畫面修復也必不可少。畫質上,本次修復通過清晰度增強和瑕疵修復、分區域色彩亮度增強等算法,處理早期軟硬件設備落后導致的問題。視頻分辨率從不足540p提升到接近4K水平,幀率從25fps提升到60fps。
在Beyond演唱會之前,火山引擎修復能力就已經存在。作為6億日活用戶的平臺,抖音上會有一些用戶拍攝設備不太好,其實就類似于老片修復場景,視頻上傳到抖音后,視頻清晰度、色彩、瑕疵、失真等都會有一些自動的修復。
與其他視頻相比,演唱會修復的難點在于,它有更多人物的近景、遠景,包括一些舞臺、燈光效果,因為歌手會在舞臺上不斷地動,拾音距離也不斷會有一些變化。這就對修復技術提出更高要求。
目前火山引擎已經把演唱會修復技術產品化,通過火山引擎智能處理、音頻技術兩個產品對外提供服務,可以用到其他的場景或者行業中,也正在提供給字節跳動內部業務及外部客戶,提升他們的品質。
對于有價值的珍貴歷史影像,比如老資料片、老紀錄片等內容,抖音和西瓜視頻將會繼續開放免費公益修復。
不止音視頻
火山引擎的修復技術不止用在演唱會上。實際上,在經典動漫領域,火山引擎也已經實踐了修復技術。
去年10月,西瓜視頻聯合火山引擎表示,未來一年,雙方將共同修復100部經典老動畫。當時,《哪吒傳奇》、《葫蘆兄弟》、《黑貓警長》等六部經典動畫作品的4K修復版已經上線。截至今年6月,修復好的經典動畫已經有71部,年齡最大的是1958年的中國第一部彩色剪紙片《豬八戒吃瓜》,也已經上線。
無論是經典動漫還是經典演唱會,修復技術都用到了火山引擎視頻云的能力。目前火山引擎視頻云也服務了非常多的行業以及相關客戶,包括游戲、電商、金融、教育等各個領域。具體客戶包括三七互娛、凱叔講故事、華林證券、華數等。
趙世杰說,通過火山引擎視頻云相關技術,能讓視頻體積小,但高清。“我們提升視頻的畫質,讓用戶有更好的體驗,并且提升畫質的同時,我們把視頻的體積做到最小。這樣的話,用戶在觀看時,他可以用盡可能小的帶寬去播放高畫質視頻,而且也不會帶來一些卡頓的問題。”
作為字節跳動旗下的云服務平臺,火山引擎還提供云基礎、大數據、人工智能、開發與運維等服務,幫助企業在數字化升級中實現持續增長。火山引擎技術起源于抖音的技術實踐,具有AI研發實力與大流量產品經驗,抖音、頭條、懂車帝是火山引擎云的大客戶。
去年12月,火山引擎推出“萬有計劃”,要在未來3年,聯合1000家合作伙伴、助力10萬家客戶實現數字化轉型。火山引擎目前已經服務了一些客戶,來自互聯網、消費電子、金融、汽車、文旅,具體公司包括海爾、美的、中信銀行、藍河乳業、中手游等公司。
火山引擎總裁譚待說,目前云產業仍沒有充分發展,火山引擎云產品可以成為解決行業普遍存在的“10萬臺魔咒”問題的一部分,讓每一個企業都上云。“機會非常大,國內云服務市場滲透率依然很低,根據第三方報告,未來客戶平均會使用2.6家云。我們整體很有信心。”
任曉寧/文