11月27日,2022全球人工智能技術大會 “融合與發展”新智者·智能媒體專題論壇在線舉行。CAAI智能傳媒專委會副主任、南京大學通信工程系主任、教授曹汛以《從全光函數漫談智能視覺傳媒》為題,闡述了智能視覺傳媒的理念,探討了如何從全光函數的角度理解媒體形態的重塑。
圖注:曹汛教授-“融合與發展”新智者·智能媒體專題論壇
報告中,曹汛教授深入淺出地從全光函數的視角講解智能視覺,翔實的數據、豐富的影像、精彩的演示伴隨著娓娓道來的講解,扣人心弦、引人入勝。曹教授介紹了重塑視覺影像的一些背景、方法及意義;闡明了重塑視覺影像的兩個方法:相機記錄與模擬計算生成。
重塑世界方法中用相機記錄由來已久。從最早的模擬相機只能拍出灰度圖像,到后來的柯達、海鷗公司做的膠卷、單反等,再到步入數字時代。Boyle & Smith發明CCD獲2009年諾貝爾獎,這是最小的數字相片,小于一萬象素,比現在手機象素都小很多。隨著CCD的發展數字成像的應用越來越多,包括了各種監控攝像頭和手機。隨著自動駕駛技術的興起,汽車也配置了攝像頭,目前標配為10個左右,還有逐漸增加的趨勢。
曹教授在介紹模擬計算生成方法時引入了全光函數。全光函數在1991年由美國一個三院院士提出,他總結了全光函數的七個維度。基于此,模擬計算生成方法即記錄有光源照射于物理模型上的視覺信號,再用相機記錄下來然后在電腦里進行計算,依此逆向生成各種模型。計算機圖形學里很多虛擬環境都是通過逆向的物理模型構建形成虛擬視覺印象的。
隨后,曹教授就其中幾個維度——空間、時間、光譜著重作了詳細的闡述。
1. 空間維度。人眼的空間分辨率據大部分生物文獻記載是5.76億左右,在全部動物界里只能排名第二,比人眼更高的是老鷹,它可以在萬米高空看清地上的獵物。但高分辨率一直是成像系統的追求,三星宣布下一個Cmos要做6億象素相當于超越人的眼睛的概念。一般來說,獲得非常高的分辨率,視野會變得非常非常小,這個是受限于空間帶寬積,最典型的例子就是顯微鏡。曹教授在報告中提到第一代顯微鏡就是在全球非常大的一次瘟疫之后發明的。而這次的疫情學界有足夠的手段去觀測和了解病毒,這就是視覺利器發揮重要作用的實例
2. 時間維度。最早的電影1秒鐘24赫茲就足以呈現出連續的動畫。在講解到一秒鐘一萬赫茲時,曹教授引用了一個生動的例子,即著名的子彈時間場景——《駭客帝國》電影中用來描述主人翁躲子彈的經典鏡頭。幀率再快一百倍到一百萬赫茲就可以追上子彈的速度,捕捉到閃電的一些場景和鏡頭。比一百萬赫茲再快的就是能夠追上光的速度,亦即一秒鐘一萬億赫茲。
3. 光譜維度。以人眼的光譜通道為例,其通道只有三個,視覺無法觀測出諸如物品內部的好壞等一些蘊于豐富譜色信息中的內容。錢學森先生所在的JPL實驗室成功研制出世界上第一臺擁有視覺空間能力的光譜相機,應用在衛星上。光譜相機優于其它手段之處還在于其能識別假的人皮面具,使人臉識別系統不會欺騙和攻擊。此外,光譜也可以用在環境保護等領域,如化工的泄漏檢測等等。
在報告的最后曹教授進行了總結并對智能視覺傳媒的前景提出了一些展望,加深了聽眾們對智能視覺的了解與興趣,讓大家感受到未來還有更多有意思的視覺感知研究工作可以去探究與實現。
