9 月 24 日,2020 OPPO 開發(fā)者大會正式召開,全新 ColorOS 11 正式發(fā)布,秉承「創(chuàng)造無邊界」的理念,為用戶帶來更加豐富精彩、多端互融、安全便捷的全場景體驗。大會中,OPPO ColorOS 設計總監(jiān)陳希宣布,OPPO 系統(tǒng)能力開放引擎進一步擴大到七個,增加 AIUnit 與 FusionUnit,幫助開發(fā)者在移動端部署 AI 算法,同時實現(xiàn)手機與其他設備快速、穩(wěn)定、低延時協(xié)同,在智能化、多設備、多場景等方面,將 OPPO 的系統(tǒng)能力全面開放,與開發(fā)者一同帶給用戶更好的創(chuàng)新體驗。
在 2020 OPPO 開發(fā)者大會技術能力開放專場,OPPO 進一步向開發(fā)者講述了AIUnit 與 FusionUnit 兩大全新系統(tǒng)引擎的能力,同時全新升級的 Hyper Boost、CameraUnit 與 MediaUnit 也正式與開發(fā)者見面。
AIUnit應用無限可能,AI 技術全面助力開發(fā)者
為了給應用開發(fā)者和從事AI 算法開發(fā)的研究人員提供更好的支持,OPPO 進行了 AI 能力的開放。目前,OPPO AI 開放能力主要包含 AIUnit 算法引擎和 AI Boost 模型推理加速框架。通過AIUnit 來幫助應用開發(fā)者更好地開發(fā) AI 功能,而 AI Boost 可以幫助開發(fā)者部署算法到移動端。
AIUnit 引擎能力提供了視覺算法、視頻算法、音頻算法、感知算法四大方向的能力建設,能夠向應用開發(fā)者提供人工智能算法 API,使應用開發(fā)者高效地編寫用于在移動設備上運行的 AI 應用程序。目前,AIUnit 已經應用于 ColorOS 系統(tǒng)相冊、視頻編輯、音頻及感知等相關應用中,如系統(tǒng)相冊的老照片修復、人臉聚類能力、視頻增強能力、鈴聲編輯能力等。
AI Boost 作為面向移動端的 AI 模型加速框架,借助 OPPO 終端強大的硬件計算資源,可有效幫助 AI 算法研究者將算法模型快速部署到 OPPO 終端設備上,最大限度地提供端側 AI 加速能力。在 ETH 瑞士蘇黎世大學 AI Benchmark 的評測平臺上,借助 AI Boost,平臺效能可提升 23-33%;在高通和 MTK 同芯片平臺的產品中均優(yōu)化達到了業(yè)界最佳表現(xiàn),對標準的模型效能提升了 30% 左右。
FusionUnit 智能互聯(lián)能力,開啟多端融合新場景
隨著科技的飛速進步,用戶身邊的智能設備日益豐富,但繁雜的設備也需要用戶花費更多的時間去了解、配置以及使用。針對用戶在多設備使用的場景下,如何能夠優(yōu)化這些設備的管理、協(xié)同和聯(lián)動,F(xiàn)usionUnit提供了一整套的解決方案。
FusionUnit 應用重定向技術讓用戶在系統(tǒng)或者應用界面中,可以將當前屏幕或某個應用界面共享給周邊或遠程好友,實現(xiàn)多人同看視頻或好友觀戰(zhàn)等功能。同時,用戶還可以為接收方賦予控制權限,允許對方使用此應用,并且在此過程中雙方手機均可以離開當前頁面。在支持設備上,該功能未來將會覆蓋手機、PC、電視等終端。
通過 FusionUnit 數(shù)據(jù)融合能力,多端設備可以實現(xiàn)便捷的應用級數(shù)據(jù)共享。例如,通過手機上的相冊應用可以訪問同 Wi-Fi 下其它所屬設備上的照片文件,并且提供統(tǒng)一檢索、傳輸能力,實現(xiàn)近場多設備數(shù)據(jù)一致,讓用戶可從任意一端進行統(tǒng)一資源管理。開發(fā)者借助FusionUnit,即可實現(xiàn)應用跨端接續(xù)的能力,保證用戶在多端使用時的無縫感。
同時 FusionUnit 支持跨計算資源、跨設備算力的增強,可同時調動起CPU / GPU / NPU / DSP 等計算單元進行運算加速。在 AI 相關的實時視頻流解析、離線視頻處理等任務中,可大幅提高 AI 計算能力和應用幀率,實現(xiàn)端內多芯片計算協(xié)同。
Hyper Boost系統(tǒng)加速引擎,保障應用高速流暢運行
Hyper Boost 致力于為用戶帶來流暢順滑的使用體驗,在此次大會中,Hyper Boost 帶來更多技術革新,增加了GPU加速、DDR加速、大核綁定、溫控回調、4D振感等能力,讓開發(fā)者在應用優(yōu)化過程中能夠根據(jù)具體應用場景來選擇對應的能力。
目前,微信、QQ、淘寶、抖音、王者榮耀等頭部應用和游戲均已接入 Hyper Boost系統(tǒng)加速引擎,國內市場日均調用次數(shù)超過 2 億次。除此之外,Hyper Boost也積極走向海外,海外的開發(fā)者可非常簡單地獲取該能力,助力應用的流暢運行。
在開發(fā)適配方面,Hyper Boost 已由系統(tǒng)組件變?yōu)閼媒M件,讓廣大開發(fā)者升級調優(yōu)更便捷。同時,Hyper Boost 還引入了云端配置管控功能,僅需在云端進行輕量化的適配工作,開發(fā)者便可以完成接入工作。
CameraUnit 與 MediaUnit,全面開放系統(tǒng)級影像與多媒體能力
CameraUnit作為OPPO影像能力的開放接口,可消除系統(tǒng)相機能力與三方應用之間的隔閡,將OPPO相機的強大能力提供給三方應用使用。通過簡單的API接口調用,三方應用可實現(xiàn)雙攝同開、視頻HDR、超級防抖、超廣角、超級夜景等特性,實現(xiàn)與OPPO相機同樣的拍攝效果,為用戶帶來豐富的相機能力以及優(yōu)質的拍攝體驗。
當前抖音、快手等三方應用已經接入了CameraUnit的超級防抖和超廣角能力,接入后可利用系統(tǒng)原生的多源傳感器信息融合和防抖場景智能分析,讓用戶使用三方應用拍攝視頻時也實現(xiàn)超級防抖,在戶外場景下拍出取景更大、內容更多、降噪明顯 的視頻成片,為5G時代年輕用戶提供更多視頻創(chuàng)作空間。
除此之外,OPPO智能相冊支持用戶在使用時根據(jù)時間、地點、人物、模糊詞等標簽,快速找到想要的圖片,當前智能相冊能力可覆蓋超過80個場景。同時,相冊的智能選圖推薦服務可幫助用戶根據(jù)時間節(jié)日、地點圖集、精彩回憶等類別進行分類,大大提升管理效率。
值得一提的是,包含這么多豐富功能的CameraUnit僅20KB大小,三方應用只需要簡單配置對應的能力參數(shù)即可完成接入。
MediaUnit 支持將硬件級的低時延耳返能力開放給開發(fā)者,讓用戶可以自主調節(jié)音色、節(jié)奏、音準等各種參數(shù),獲得聽唱同步的優(yōu)質 K 歌體驗。此外,針對直播、視頻通話等場景,由于人們關注的往往是人的臉部表情和手部動作,通過提高這些區(qū)域的清晰度,可以有效的提高用戶主觀觀看效果。憑借MediaUnit開放的ROI編碼功能,開發(fā)者可以控制視頻重點關注區(qū)域的碼率分配情況, 弱化背景信息,在節(jié)約帶寬的同時提升視頻整體感官體驗。
OPPO 一直致力于和全球開發(fā)者及廠商合作,促進軟硬件生態(tài)融合,提升消費者使用體驗。截至目前,ColorOS 已開放系統(tǒng)能力數(shù)達到 27 個,擁有超過 100 家三方合作伙伴,日均接口調用次數(shù)達到 3 億。未來,OPPO 也將不斷提升系統(tǒng)輕快流暢的使用體驗,同時持續(xù)開放系統(tǒng)能力,與更多開發(fā)者和用戶共享技術開放帶來的便利。