6月23日，年度計算機視覺頂級會議CVPR（國際計算機視覺與模式識別會議）在新奧爾良落下帷幕。今年，OPPO有七篇論文成功入選，躋身一流科技廠商之列。同時在廣受關注的挑戰(zhàn)賽上，OPPO也取得了三項第一、一項第二、四項第三的良好成績。
隨著深度學習逐步成熟化規(guī)模化，人工智能技術從“感知智能”向“認知智能”邁進。AI除了“看到”或“聽到”，開始初步逐步具備像人類一樣的思考能力。多模態(tài)融合、3D視覺智能技術、自動機器學習等正在成為人工智能領域的關鍵研-究熱點。OPPO在上述領域都均實現論文收錄，在AI關鍵學術領域取得創(chuàng)新突破。
OPPO 智能感知首席科學家郭彥東表示：“在2012年，為了圖像識別任務而設計的深度神經網絡重新給人工智能的研究與應用注入了能量。從此，人工智能（AI）技術迎來了飛速發(fā)展的10年。在OPPO，我們持續(xù)推動人工智能完成像人一樣復雜的感知與認知行為。比如，從無標簽的海量數據中持續(xù)學習并遷移到下游具體任務，從幾個有限視角中完整的重建3D信息；更高級別的認知能力，比如對美的理解與創(chuàng)作；以及具有自主行為能力的“實體AI”(embodied AI)，比如自動駕駛場景中的行為預測等。很高興OPPO繼2020年首次亮相后，在短短的3年內就實現了7篇主會論文入選的好成績。未來，我們希望繼續(xù)向更基礎、更前沿的AI領域探索，推動AI的商用落地，讓創(chuàng)新科技更好地服務于人。”
7篇論文獲得收錄，OPPO正在助力AI認知水平升級
本次CVPR2022上，OPPO共有7篇CVPR入選論文，涵蓋多模態(tài)信息交互、三維人體重建、個性化圖像美學評價、知識蒸餾等多個研究領域。
不同模態(tài)數據的特性各不相同，像文字、語言這樣的信息概括性極強，而圖像往往包含大量細節(jié)。在多模態(tài)數據下，能夠在模態(tài)間建立起有效交互對于AI來說是一件十分有挑戰(zhàn)性的事情。OPPO研究人員基于CLIP模型提出了全新CRIS框架，使得AI能夠更加細粒度地理解圖像與文本兩種模態(tài)的數據。即使輸入包含多重信息的文本描述，該框架也能夠準確聚焦到對應的圖像區(qū)域，顯示出強大的細粒度跨模態(tài)匹配能力。
當前，人類的智能和人工智能最重要的區(qū)別之一在于對于多模態(tài)信息的識別和理解。對于人類來說，我們往往可以同時理解文字和圖像，并將其有效關聯(lián)。但AI更多停留在識別階段，很難將不同模態(tài)的信息精準對應。本次OPPO提出的創(chuàng)新方法可以幫助人工智能在多模態(tài)理解上更進一步。未來，隨著相關技術的不斷發(fā)展，人工智能可以真的可以像科幻小說中描述的那樣，通過語言、聽覺、視覺等多重信息去認知真實世界，真正地成為人們最好的“幫手”。
同樣，在近期熱門的三維人體重建領域，OPPO研究院通過改進NeRF創(chuàng)新的動態(tài)角色建模方法，在業(yè)界首次實現了自動為寬松著裝人體創(chuàng)建數字分身的工作。該建模方法僅通過分析攝像頭所拍攝的RGB視頻，就可以1:1精準還原人物動態(tài)細節(jié)，甚至包括衣服細小logo或紋理細節(jié)。衣服的建模還原一直是業(yè)界挑戰(zhàn)較大的領域之一，因為人體姿態(tài)發(fā)生變化的同時衣服物料的形變非常復雜，從而導致AI難以解算像“裙擺”這樣的部位形變。此舉可有效降低三維人體重建的門檻，為在線虛擬試裝購物、AI健身乃至VR/AR虛擬世界的真正落地提供良好的技術基礎。
隨著AI圖像識別能力的逐漸成熟，如何讓AI具備圖像審美能力成為新的難題。AI的審美能力往往強關聯(lián)訓練所使用的數據和標注者的偏好，而人的審美往往是千人千面的，采用基于大數據的美學評價來為不同用戶服務，這可能會引發(fā)人們對于“審美歧視”的討論，造成不好的用戶體驗。因此，通過更精細化的數據和模型，準確捕捉不同用戶的審美差異的個性化美學評價應運而生。
對此，OPPO研究院聯(lián)合西安電子科技大學李雷達教授，開創(chuàng)性地提出了帶條件的PIAA算法（Conditional Personalized Image Aesthetics Assessment），首次從“用戶主觀偏好與圖像美學相互作用，如何產生個性化品味”角度出發(fā)對AI模型進行優(yōu)化。該算法可以基于不同用戶畫像信息實現個性化的審美評價，可以為用戶在相冊、相機、互聯(lián)網內容推薦等場景中打造個性化體驗，具有廣闊的應用前景。
隨該算法一并提出的帶有豐富屬性標注的個性化美學評價數據集也已宣布開源，為業(yè)界在個性化美學評價領域的研究提供了有價值的研究數據，目前該數據集已收到多家研究機構及高校的關注和問詢。
此外，OPPO提出的多視圖三維語義平面重建技術能夠準確解析場景的三維平面結構，并預測地面、桌面、墻面等平面的語義標注，其效果明顯優(yōu)于當前主流單視圖重建架構。而聯(lián)合清華大學提出的INS-Conv (INcremental Sparse Convolution)，能達到更快及更準確的在線3D點云語義及實例分割推斷，該技術可以有效降低環(huán)境識別對于終端算力的要求，為全自動駕駛、虛擬現實這樣前沿技術的落地增加了可能。
斬獲NAS挑戰(zhàn)賽亞軍 OPPO創(chuàng)新模型助力AI“輕量化”
在同期舉辦的挑戰(zhàn)賽中，OPPO也表現出色，在八大賽項中斬獲佳績。包括目前行業(yè)關注的神經網絡架構搜索技術（NAS）賽道、足球行為檢測（SoccerNet Action Spotting）賽道、足球回放定位（SoccerNet Replay Grounding）賽道、時序動作定位（ActivityNet temporal localization）賽道、大尺度視頻目標分割挑戰(zhàn)賽（The 4th Large-scale Video Object Segmentation Challenge）、ACDC挑戰(zhàn)賽（the ACDC Challenge 2022 on semantic segmentation in adverse visual conditions）和運動預測挑戰(zhàn)賽（WAD Argoverse2 Motion Forecasting）。
從手機攝影到無人駕駛，深度學習模型走進越來越多行業(yè)。但深度學習非常依賴大數據和大算力，學習成本高，這也給前沿AI技術的商用落地帶來了挑戰(zhàn)。神經網絡架構搜索技術（NAS）可自動發(fā)掘神經網絡的最優(yōu)架構，降低對人工經驗和背景知識的依賴，讓AI也可以實現“自主學習”。在比賽中，OPPO研究人員通過優(yōu)化訓練超網過程中的模型參數遺忘及不公平的梯度下降問題，針對“繼承”超網參數的45000個子網絡，有效地提高了子網絡在性能及性能排序上的一致性，最終取得了第二名的好成績。
NAS技術的發(fā)展使得研究人員只需訓練一個大的超網絡，然后通過繼承超網參數方式低成本構建預測器，實現網絡架構自我學習，從而高效地獲得優(yōu)于專家設計的深度學習模型。該技術可適用于當前大部分人工智能算法，可以幫助AI技術在移動端設備上的應用，讓用戶體驗到AI技術快速落地帶來的好處。
值得一提的是，繼去年OPPO在足球行為分析（SoccerNet）賽道中取得動作定位（Action Spotting）和回放定位（Replay Grounding）雙項第二名后，今年OPPO再次取得回放定位（Replay Grounding）第一名和動作定位（Action Spotting）賽項第三。
在CVPR 2022上，OPPO還參加了三場高水準Workshop并發(fā)表演講。其中，在SLAM 研討會上，OPPO研究員鄧凡就如何在智能手機、AR/VR設備上運行實時vSLAM進行分享和討論。研究員李毅康則在移動人工智能研討會中發(fā)表了演講，提出無監(jiān)督的視頻-文本跨模態(tài)哈希方法——CLIP4Hashing，為移動設備上的跨模態(tài)搜索提供重要思路。李薇參加AICITY Workshop并提出了基于多視角的動作定位系統(tǒng)，用來識別駕駛員行車時的異常行為。
以創(chuàng)新推動商用，OPPO希望盡早讓人們享受AI帶來的便利
今年是OPPO參加CVPR的第三年，OPPO在收錄論文數量及挑戰(zhàn)賽成績保持上升的同時，研究領域也從人臉識別等應用領域向更基礎的技術方向轉移。
快速突破的成果來源于OPPO在AI領域的不懈投入。自2015年起，OPPO在人工智能領域展開投入，成立相關研發(fā)團隊，聚焦語言語義、計算機視覺等領域。2020年初，OPPO研究院正式成立智能感知與交互研究院，進一步深化OPPO對人工智能前沿科技的探索。目前，OPPO在AI領域的全球專利申請超過2650件，廣泛覆蓋計算機視覺、語音技術、自然語言處理、機器學習等領域。
在“微笑前行”品牌使命的指引下，OPPO也在和業(yè)界伙伴一道，不斷推動人工智能（AI）技術從實驗室真正走向生活。2021年12月，OPPO發(fā)布了首款自研影像專用NPU——馬里亞納X，具備強大算力、能效比和計算速度，能夠讓AI算法的運行速度達到空前水平，為用戶解決手機長期難以解決的夜景視頻畫質問題。此外，基于強大的底層AI能力，OPPO也發(fā)布了包括CybeReal全時空間計算AR應用、OPPO Air Glass、Omoji等創(chuàng)新產品及功能，希望盡早創(chuàng)造更真實的數字新世界，為用戶帶來現實物理世界與虛擬數字世界的融合體驗。
