在剛剛過去的十一國慶假期,全國國內旅游達近5.5億人次,其中,北京、上海、杭州和武漢等地成為熱門旅游景點。當游客去到東方明珠、黃鶴樓等標志性地標建筑時,免不了拍照打卡為旅程留下美好回憶。如何在國慶攝影大賽中突圍而出,曬出最獨特的假期打卡“游客照”?最近,就有這么一個「賽博國風」AR短視頻玩法,備受好評。
在手機QQ的相機功能上,于國慶前后上線了東方明珠地標、黃鶴樓、天壇和雷峰塔等多個AR短視頻模板。用戶只需要掃描這幾個地標的照片或者實物,就能一鍵生成一條3D AR特效的地標短視頻,例如掃描黃鶴樓,會在畫面上出現一只飛鶴和極具威嚴神圣之感的飛龍。
landmark AR科技實現「虛實結合」3D特效
這種虛實結合的3D特效,出自騰訊QQ影像中心研發的landmark AR地標技術。其原理結合了中心自主研發的高精度三維重建和3D物體檢測及識別技術,實現地標建筑物逼真穩定的3D AR 特效。
三維重建的本質就是根據二維圖案來進行處理操作和分析,從而建立表達客觀世界的虛擬現實。3D物理檢測識別技術則能夠通過結構光三角測量原理,將特定波長的極光圖案投射到物體表面,從而使得產出的內容有著更高的精確度。
QQ影像中心研發的高精度三維重建技術,使用互聯網上爬取的建筑物不同角度和位置的圖片及視頻,重建出地標建筑物的厘米級精度的高完整性的全景模型,模型的大小及形狀真實建筑物高度一致,不但可以用于實現與真實建筑物十分貼合的AR特效,還可以用于生成真實建筑物與虛擬物體的遮擋關系,實現“以假亂真”的AR特效。
建筑物識別檢測算法 為用戶提供流暢使用體驗
QQ影像中心研發的建筑物識別檢測算法,依托積累的大量輔助訓練數據和完善的篩選標注清洗流程,并且采用NAS技術自動搜索到效果最好性能最優的算法結構,訓練出性能高效,識別準確的檢測識別算法,為用戶提供流暢的使用體驗。
據了解,這樣的技術,QQ影像中心已實現了技術流程高度模塊化、流水線化。甚至,它已然可以完成多個建筑物的并行構筑,目前,完成一個建筑物的重建和識別僅僅需要1-2天時間,并且可并行完成多個建筑物的相關工作。
不同于千篇一律的游客照,QQ影像中心所研發的新玩法,能夠讓更多用戶以更多元的方法,擁抱地標建筑和其背后的人文風韻,也開啟傳統地標的新可能。
QQ影像中心團隊在語義分割、目標檢測、分類識別、GAN生成對抗等方面的深厚技術積累,在AI生成領域已進行了很多相關算法的研發和落地工作。此前,該團隊在人臉特效及人體動作遷移上所做出的熱門AI玩法——漫畫臉,迪士尼童話臉、我的奧運奪冠時刻等,也同樣帶給用戶豐富有趣的科技體驗。
關于騰訊QQ影像中心
騰訊QQ影像中心(原騰訊光影研究室)是騰訊旗下專注于研究前沿影像處理技術的團隊,在單目深度估計技術、語義分割、目標檢測、分類識別、GAN生成對抗等方面均有深厚的技術積累。團隊一直致力于探索泛娛樂綜合解決方案,將前沿的AI能力、先進的玩法引擎和3D渲染技術賦能產品,讓視覺創意更多樣,音視頻編輯更智能,社交溝通更趣味。