死磕低功耗和啟動時間的五年。
如今百花齊放的消費類攝像頭市場,此前只見國外品牌獨美。
Arlo的前身Vuezone在2012年以“純無線攝像頭”的概念(1基站+N攝像頭)開創了低功耗的產品模式,Ring主打配備攝像頭的智能WiFi門鈴,在2014年被亞馬遜收購,納入其智能家居生態。
當消費類攝像頭在歐美市場風生水起時,國內市場萌芽未現,技術氣候未成。
但合肥君正隱約感覺到,中國消費類攝像頭,尤其是低功耗的電池類攝像頭將撐起一片天。
確定了電池類方向的合肥君正,逐步開始了從硬件到軟件、從產品到平臺的全方位的低功耗攻堅戰。
2019年北美線上最受消費者喜歡的攝像頭類產品中,電池類門鈴及低功耗攝像頭已占四成以上。
技術逐漸攻克,產品持續改進,加之剛需特性,各類低功耗產品出圈,從線上走進一個個尋常百姓家。
蟄伏已久的中國隊也梯度進場,之中Anker和Wyze的光芒在2020年格外璀璨。
而他們的幕后英雄合肥君正,不僅市場預判得到驗證,埋首低功耗的上千個日夜也未曾辜負。
從新奇物種到尋常可得,轉變似乎在不知不覺之間,但推動這一切的企業們,卻將時間拆分成無數個嘔心瀝血的日子,在那些日子里,他們是如何一步步從黑暗走向光明的?
雷鋒網AI掘金志就此與合肥君正消費類產品線總監李雅崑進行了一次談話,以探尋背后的故事。
苦練低功耗攝像頭的內力
“預判容易,投入很難,”李雅崑表示,“盡管這一趨勢現已被印證,但當時而言,投入周期很長、投入量很大,也難以保證產出,況且,我們接觸的客戶似乎興趣不大。”
電池類攝像頭的功耗高低,直接影響了產品的核心:體驗。
而這,也是合肥君正一直以來的宗旨,因而盡管前路迷霧一片,他們堅定了深耕低功耗的決心。
絕世武功的修煉,通常離不開基本功。
好在君正的低功耗基本功已然十分扎實。
對產品功耗的影響,主要來自于兩個方面,一個是SOC的內部功耗,另一個是SOC之外的周邊器件功耗。
SOC內部的功耗與CPU的設計相關,CPU核心技術算得上君正的殺手锏之一。君正是全球范圍內少數幾個掌握CPU核心自主設計技術的廠商之一。此外ISP(圖像處理器)、VPU(視頻編碼器)、AIE(AI引擎)這幾個核心IP模塊也都是由君正自主獨立設計研發。
正如北京君正副總經理黃磊曾對AI掘金志所言,視頻領域的真槍實彈,要靠核心技術,自研是必選項。
也正是由于君正自研核心技術,才能對SOC內部細節做到精確的功耗優化。
如果說電腦是機器、顯卡、CPU內存、南北橋等器件,SoC上,這些器件都存在于芯片內部,各個模塊的配合是非常龐大的工作。
SOC的內部通過時鐘信號來驅動每一拍工作,好比人的心跳一樣,而芯片內部的低功耗優化是一項要求極高的設計工作,貫穿在每一個IP模塊的每一拍細節之中。
“最簡單的做法,每次心跳的時候你都干就完了,但是那樣功耗大,我們就精細到每一次心跳的時候,誰休息誰干活。”
十幾年的浸潤,君正已經將低功耗融入骨血之中,在功耗,性能,成本等方面優勢明顯。
在ISP圖像處理上,圖像處理器Tiziano,保證了安防攝像頭級的成像效果。
君正的自研Radix系列 VPU,針對H.265格式復雜度的增加和4K實時編碼運算量的增加,重新設計了硬件架構,精細設計的開關控制等降低動態功耗,并通過復雜度選擇,對編碼關鍵路徑進行算法優化和硬件優化等途徑,提供低功耗、高性能、高壓縮率的視頻編解碼能力。
在AIE,即AI計算引擎上,AIE架構層面兼顧計算效能與靈活性,低比特量化技術則進一步強化了君正AIE的低功耗與低帶寬AI計算能力。
這種孜孜不倦的愚公自研精神,外化效益是,同等工藝下,君正SOC功耗比友商方案低25%-50%
而芯片外部的功耗優化,則是一門機器精細的工藝,也是多維層面的戰役。
需要軟硬件結合,涉及到芯片設計、操作系統層、軟件架構層等;需要針對各種場景對運行功耗和待機功耗等做優化,平衡計算各種場景下CPU的運算能力,更好地調度每個單元的工作,從而將功耗降到最低。
“比如調硬件,在PCB板上,電路板密密麻麻的一大片,每一個器件都有供電,有的還不止一個供電,要把每一路電的電阻斷開,去接萬用表,去測評它的能力。”
與軟件調試不同,硬件調試是一件枯燥且耗費精力、時間的環節。
雖說硬件層面的結果是一個待機時間,但這一個環節,就是一項大工程。
比如平均功耗,瞬間響應的功耗如何降低,降低到一定水平之后,如何保證穩定。
這個過程需要精確地控制每一個毫安、每一個部件。
“拿一個板子,飛線,飛好線,然后到測試的地方,把夾子打開,夾上電流表或電源,跑起來,測技術數據。”李雅崑回憶起測試場景,“每一路挨個測一遍,這一輪完了,拿下來改一下程序,優化完了之后再測,不同的場景,不同的分辨率,每一路的功耗,逐一測試,基本就是排列組合了。”
合肥君正就這樣,一步一個腳印,從芯片的設計到電路板的調試,把芯片內部、外部、PCP在內所有的東西都校準到最精確的位置,最后得到一個300毫瓦的數據。當抬起頭來,他們才發現,不知不覺中他們已經站在功耗層面的頭部了。
澤拉圖平臺:一群80后工程師的情懷
啟動時間,是電池類攝像頭必須邁過的一座大山。
而百毫秒級的啟動速度正是合肥君正引以為傲的功勛章。
這勛章得益于合肥君正的澤拉圖(Zeratul)平臺——基于Linux生態的快速啟動技術。
當下,極少數具有簡單處理器的Linux快速啟動技術。澤拉圖平臺,從啟動到拿到第一幀穩定圖像用時不到300ms。
站立于啟動時間高峰的合肥君正,身上的風霜也肉眼可見。
“澤拉圖這個名字是我起的,”李雅崑眉眼帶笑,“他是《星際爭霸》中的一個角色,你可能會覺得有點隨意,不過代表了我們80、90后工程師的情懷。”
這群80、90工程師、程序員,也將他們的青春傾注在這個平臺上。
澤拉圖的核心宗旨,是在合肥君正搭建好各種底層細節的平臺之上,品牌商的產品能更好研發并落地。
在那之前,合肥君正面臨兩大主流操作系統RTOS和Linux的抉擇。
RTOS系統小巧,能實現幾百毫秒的啟動,但標準化不高,軟件生態欠缺。
Linux系統生態強大,應用模式簡單,標準化程度高,但啟動時間慢。
合肥君正一開始嘗試RTOS,但越到后面路途越發艱難。
攝像頭本質上具備連通性,與云端、手機端通信,做視頻編解碼,做安全加密,但RTOS的獨一無二性,讓這些軟件都需重新適配,工作量巨大。
“產品的音視頻業務程序將有兩倍的工作,甚至我想支持一個新的WiFi都很難,驅動要重頭寫。”
權衡之下,他們選擇了Linux系統。
Linux強大的生態讓他們在開發難度、擴展性上如虎添翼,為更好的融入AI大潮再添一把火。
這同時也意味著他們必須要解決系統啟動時間的問題。
為什么要死磕啟動時間?
一是信息的完整性。攝像頭待機時,主控芯片CPU處于斷電狀態,人出現后快速啟動并識別,是一個硬性指標。
比如PIR(人體紅外傳感器)觸發后,如果是百毫秒級啟動,視頻可以顯示人從進入畫面到離開畫面的全過程,如果是1秒啟動,只能捕捉到人從畫面中間到結束的過程,如果是2秒,只能捕捉到一個后腿。
二是用戶體驗。如果啟動時間慢,用戶遠程查看手機體驗不佳。
與市面上的攝像頭十幾秒的啟動時間相比,當初Alro、Ring的秒內快速啟動簡直是對前者的降維打擊,也讓他們一舉成為市場標桿。
“雖然都是攝像頭,但不同類別在技術和產品方面區別很大,我們開設了專項方案開發低功耗產品。”
他們拆解Alro、Ring的產品,把每一個零件,每一個流程都一一理解、剖析,待機時間、運行機制.....每個部分反復測驗。
在理解的基礎上,他們給自己設置了一個目標:秒啟。
先以3秒為目標,再以1秒為里程,逐漸往上攀爬。
前期的積累得到回報,他們很快實現3秒啟動。
如果從十幾秒到3秒的路是枕席過師,那么3秒到1秒的路就是羊腸九曲,1秒再往后便是阡陌縱橫。
在實現1秒啟動后,他們在傳輸、喚醒、觸發等的每一個細節深究。
1秒之內,逐漸攻破了900毫秒,到2017年底,達到600毫秒。
而后隨著T21、T30、T31芯片的迭代,軟件技術的成熟,合肥君正又從600毫秒翻過400毫秒的大山,最后達到200毫秒的山頭。
短短幾句話,概括了他們幾年來從十幾秒到200毫秒的歷程。
200毫秒已實屬優秀,甚至超過不少歐美品牌的水平,他們并未滿足于此,而是提出更高的要求——力圖200毫秒以內拿到穩定的圖像。
這是個無限接近極限的目標。
在當下傳感器初始化標準耗費時間約100毫秒的背景下,要想使得拿到圖像的時間控制在200毫秒以內,需要在以幀為單位的量級上下功夫。
而“穩定的圖像”意味著,在圖像出現后,在100毫秒以內對顏色、亮度進行校準、讓每一幀的圖像更好。
“幾毫秒、第一幀的顏色亮暗程度不同,越往后走越細,有些細節不會體現在參數和報告上,但在產品落地的時候,就有問題,你必須去搞定,有點像磨手機殼的感覺。”李雅崑如此類比。
對速度的無限追求,對用戶體驗的極致提升,或許是他們堅持下去的動力。
這如螺螄殼內的精雕細琢之路,荊棘載途,他們卻甘之如飴。
啟動速度之外的圖像收斂(出圖像時間),是另一個極為關鍵的環節。
“只有啟動時間快,你的出圖時間才能快,但是圖像的收斂穩定時間又是另外一件事。”
翻譯下就是,啟動速度和出圖時間,是一個緯度的兩個方面:啟動時間快是基礎,圖像收斂是效果。
視頻剛開始錄像時,前幾幀的圖像并不是一個恒定的速度,不同產品的圖像可能在最開始的幾幀亮度不一。
與啟動時間快慢類似,圖像收斂如果效果不佳,即啟動后畫面太暗或太亮都將難以捕捉到最開始的信息。
如此,不僅用戶體驗感下降,也可能丟失某些關鍵信息。
在啟動層面,要將啟動階段內的諸多工作集中在第一時間,進行操作系統的解壓、系統的引導,驅動的初始化,圖像的初始化,是一項毫秒量級的工作。
“我們也是每個細節跟客戶摳,比如某個模塊初始化是20毫秒,某個30毫秒,同時還需要加入硬件的加速,軟件、系統的高效調度。”
在圖像收斂層面,市場大多數攝像頭幀數為25幀/秒,一般情況下,攝像頭可以20幀左右(即不到一秒)收斂。
“但如果現在開燈,攝像頭啟動時按照20幀的速度收斂,就太快了,300毫秒到1秒沒的畫面還是黑的,那就沒有意義了。”
圖像亮度調節涉及到算法。合肥君正根據具體場景,以及外置傳感器的參數,一張一張圖像地打磨,將時間細化到600毫秒400毫秒200毫秒,從第一幀摳起,到第二幀,第三幀精確到位,輸出正常的圖像。
“比如一開始從接近20幀收斂,然后逐漸調節,15幀、10幀、5幀、3幀,直到達到極致。”
配置加速啟動的硬件,環節理解的軟件到位后,并行度達到極致,而后他們通過一系列精密的調試和設計,最終達到操作系統的快速啟動。
一旦突破了啟動時間的瓶頸,在這條洶涌的河上搭建起一座橋,橋后的路猶如一馬平川。
在操作系統的核心之下,合肥君正同時提供了可以落地的 Wi-Fi對接技術、基站對接技術、PIR基礎、MCU技術。
得益于Linux方案,君正澤拉圖與常規類攝像頭可以共用大部分底層技術及API接口,對于產品方案商相當于維護同一套底層系統,而非兩個完全不同的產品形態。
合肥君正之所為,無非一個目的,降低產品在SOC底層方案的門檻,讓產品商能夠把精力、物力、財力放在產品特性及用戶體驗本身上。
每一次理解、設計、調試,過程繁瑣,但合肥君正走得踏實,走得堅決。
幾輪春夏秋冬中,合肥君正不斷突破瓶頸,打磨鞏固,以至于基于Linux的快速啟動技術,逐漸成為合肥君正澤拉圖的核心技術。
“我們的核心技術,就是在單核的、簡單的處理器上,讓Linux在一秒甚至100毫秒以內啟動,只有這樣這個產品才是成立的。”
目前,Zeratul Linux的啟動速度及出圖效果已經達到甚至超過RTOS——200多ms得到穩定圖像,對強光、弱光、夜市等各場景的適應性都顯著增強。
在市場的歷練場上
除了快啟和功耗,合肥君正在Wi-Fi方案上頗下了一番功夫。
對于Wi-Fi的隨機性、網絡擁擠、路由器兼容等問題,在實驗室反復測試,而后結合方案商、品牌商等多方合作,在不同場景、不同條件下測試,力求均達到穩定狀態。
如今,他們的Wi-Fi方案適配廣泛,適應不同規格不同追求的產品方案。
“這是必過的一關,芯片做得很好,功耗很低,啟動時間很快,Wi-Fi方案不成熟,產品照樣不能落地。”
從決定投入Wi-Fi低功耗技術,一直到現在,合肥君正都在堅持對Wi-Fi生態的優化,現已進入到穩定期。
有人揶揄,如今Wi-Fi市場技術穩定,這些芯片廠商何苦自己如此大費周章。
“如果我給客戶一個主控芯片,一個Wi-Fi芯片,雖然搭配起來能解決若干問題,但是他不知道怎么做,我們積累的經驗就發揮出來,”
李雅崑平靜而坦誠,“如果我把這份工作推給Wi-Fi廠商,Wi-Fi的問題找他們,主控的問題你來找我,那這個客戶大概率還是做不出來。”
揶揄之話確有其理,只是商場較量并非涇渭分明,核心業務高墻要造,底下輸水管道要通,而成敗,可能就在一個又一個看似不相關,可有可無的項目里。
誕生近四年來,澤拉圖經歷了從經典T20到最新一代T40的幾代SoC迭代,配合多個產品落地,方案穩定成熟。
已有WYZE、360、Eufy、Toucan等多個國內外品牌基于君正澤拉圖平臺產品的成功出貨。另外一些國內外大品牌相關產品在design in階段。
李雅崑表示,“澤拉圖平臺下一步的技術和市場目標是融入端級AI技術,與低功耗技術在產品端深入配合,希望可以進一步優化體驗,擴大市場,給消費者帶來更好的產品。”
君正為此推出了人形、人臉、寵物、哭聲、車型、笑臉、周界等消費類攝像頭應用較多的檢測和識別深度學習算法,賦能端級AI。
遇山開山,遇河渡河
在北美市場,House的家庭結構使得家庭攝像頭具備一定的剛需,市場也因此最先爆發。
近年來Wyze、Eufy等品牌的低功耗產品在海外逐漸打開局面,并迅速取得良好的口碑。
國內市場,家門口的安全是家庭安防的第一道關,在后疫情時代,低功耗攝像頭將加快進入消費者視野。
同時從2017年左右開始,360、鹿客、螢石、小米等領先品牌先后發布電池門鈴和貓眼,2020年運營商正式將門鈴納入集采產品,國內的電池低功耗產品市場也正加速發展。
免去了復雜的布線,繁瑣的設置,以及高額的維護成本,隨著更多品牌的加入,電池類純無線攝像頭越來越受歡迎。
而這,是時代發展的產物。
技術上,低功耗和快速啟動技術的發展,低功耗攝像頭在分辨率、待機時間、誤報率等等技術規格上都不斷提升。
方案和產品上的各項難題逐漸被攻克,在ID設計,品牌市場推廣方面,也在逐步提高。
這些都使得在體驗、易用至上的C端市場,消費類攝像頭的規模將越加壯大。
Strategy Analytics相關研究報告預測,到2023年,全球消費級攝像頭銷量將激增至超過1.11億臺,在消費類攝像頭的支出將達130億美元。
在未來,品牌消費類攝像頭,有線版攝像頭和純無線電池類攝像頭將相互補充,各有應用。
高端攝像頭市場,電池類攝像頭和AI攝像頭可能成為新趨勢。
而合肥君正搭載澤拉圖的T40芯片,將在高端消費類攝像頭中展露頭角。使用了雙核Xburst2及增強RISCV協處理器的T40,啟動速度、性能、功耗、首幀效果上進一步提升。
專業級硬件NPU加持下,T40可提供更智能的誤報過濾方案,減少待機時間影響。
高端電池類產品的衍生需求4K和雙攝,也是T40的看家本領,它還支持高中低多種規格的LCD屏幕接口。
眼下,在電池類攝像頭,合肥君正已經拿下了市場50%以上的份額,未來將繼續向前進發。
無論是從無到有,還是從有到優,合肥君正從來慎重抉擇,而后便全力以赴,遇山開山,遇河渡河,不急不躁。
而技術日精月進、落地穩扎穩打的合肥君正,也一直在路上。