10月24日,騰訊音樂娛樂集團(TME)打造的第二屆TechME技術周盛大開幕,此次技術周采用虛擬與現實結合的方式,將在騰訊音樂虛擬社交平臺TMELAND中同時舉辦,由技術“大咖”們陸續分享前沿的音樂技術成果、未來的音樂技術布局。同時,來自TME旗下首個音視頻實驗室——天琴實驗室也正式發布了首位虛擬人——“小琴”,這是一位來自天琴座織女星的“少女”,她以多變的舞姿與青春的音色聞名星系。一頭清爽短發的“小琴”身著潮酷衛衣和運動鞋,渾身洋溢著元氣滿滿、青春逼人的氣息,她擅長流行、R&B、國風等多個流派的音樂,音域極廣,嗓音清亮萌動。她跟很多年輕人一樣熱愛舞蹈,還擁有“熒光轉動”的特有服飾能力,帶給人們快樂是她的使命。未來,虛擬人“小琴”將成為展現天琴實驗室創新技術的重要載體,同時也有望出現在騰訊音樂旗下多家音娛APP的更多活動場景中,進一步拉進與用戶的距離。
青春靚麗、多才多藝的虛擬人“小琴”能夠流暢嫻熟地說和唱,她不僅具備了中、英、粵三種語言能力,輸入歌詞后,她即可自動識別主動唱出來,更為“神奇”的是,小琴還可以根據音頻生成仿真口型,并根據歌聲自動生成唱歌動作和表情,極為自然、真實、生動。這一“魔法”背后,是完全借助AI技術實現的,在經典歌聲合成模型的基礎上進行優化和改進,形成自研模型lyraSinger;構建了自有數據,并借助于NLP中臺的覓詞系統實現算法改詞;旋律來自提升提取與曲譜預測相結合的新方法,并運用自有領先的算法對時間戳進行對齊和矯正;音效則是來自全民K歌智能調音臺算法,采用AI加人工聯合方法實現混音效果。
作為一個“全能唱跳”少女,自然不會僅僅局限于說唱技能。天琴實驗室在音樂驅動領域推出的 Music XR Maker 系統,基于騰訊音樂長期以來建立的對音樂信息的強大理解能力,通過音樂,用AI的方式,可生成虛擬世界的各項基礎元素。例如“小琴”擅長舞蹈,她不但可以根據一段旋律任意生成舞蹈,隨著流行、芭蕾、爵士等音樂翩翩起舞,還可以通過整合最先進的手勢和動作識別算法,精準捕捉身體及手部動作,甚至手勢的細微變化,從而復刻一段舞蹈;可更換各種各樣的服飾,大大提升了虛擬人“小琴”的趣味性,僅僅需要一張圖片,即可生成相應服飾,極大豐富了“小琴”的“衣柜”,同時還支持2D和3D算法,兼容不同人體姿態,可適配到多種場景。過往的虛擬人大多只能基于自身做一些外形和技能的設定,而Music XR Maker系統開創性地加入了場景生成能力,基于“小琴”的預設動作以及通過算法自動生成的動作序列,同時匹配歌曲的曲風、情感、節奏等,即可為虛擬場景批量生成可媲美專業燈光師的炫酷燈光秀,再加上結合音樂節奏和舞蹈動作自動匹配生成的運鏡效果,讓“小琴”的歌舞MV錦上添花,堪比歌舞大片。
作為騰訊音樂首個音視頻實驗室,天琴實驗室匯聚了清華大學等國內外頂尖高校機構AI頂尖人才,與西工大、中科大等高校達成科研合作,其在音頻、視頻、音效等領域的專利技術達384個,曾先后榮獲了含MIREX音頻指紋比賽冠軍、聽歌識曲技術突破獎、深圳科技專利獎、中國專利優秀獎等大量海內外重量獎項。天琴實驗室的各項黑科技已化身各種實用功能,應用在騰訊音樂旗下的各個平臺中。例如去年99公益日,QQ音樂推出了國內首張低頻公益專輯——《聽見“聽不見”的音樂》,正是運用天琴實驗室的“聲伴分離、音樂生成、伴奏改編”等智能化音頻技術制作而成。而讓更多用戶熟知且受益的則是QQ音樂「聽歌識曲」功能,這已成為廣大樂迷找尋陌生好歌的"必備神器",這項技術早在2019國際音頻檢索評測大賽(MIREX)上就一舉奪得世界冠軍,至今仍是行業領先水平。此外,還有如智能修音、智能美膚、AI語音朗讀、智能音效、視頻歌單、掃一掃MV識別等大量實用技術已大量應用于QQ音樂、全民K歌等騰訊音樂各類音娛APP中。
此次全新虛擬人“小琴”的推出,既是天琴實驗室各種“黑科技”的一個集中展現,同時也體現了其揭開神秘面紗,以更親和的姿態擁抱用戶的堅定決心。而騰訊音樂也將持續在技術創新驅動下,將以科技賦能音樂的產品理念延伸到更多場景當中,為用戶創造更多元的音娛體驗,讓科技在音樂中更具人性化,釋放更多溫暖和樂趣。
