來源：腦極體
最近看到生物學教授王立銘的一個有趣假設(shè)，他說，假如存在外星高級智慧生物，那么它大概率和人類一樣是用眼睛來感知外部世界的。
為什么這么說呢？因為視覺信息，也就是光這樣的電磁波，是所有感知信息中反映環(huán)境變化最準確、承載環(huán)境信息最豐富的通道。但凡智慧生物，如果不是生活在黑暗地下或者是幽冥深海，基本上都會依靠視覺信息來捕食和逃生。
因為光是宇宙中最普遍的存在，不需要具體介質(zhì)（空氣、水等）也能直線傳播，能夠充分準確、及時的反映出空間和物體的信息，比聲音、味道、觸覺所承載的信息量大多了，同時也穩(wěn)定多了。
這一假設(shè)從人類制造的智能設(shè)備中也可以得到驗證。以智能手機為例，其最主要接收到的兩類信息，一個是圖像，一個是聲音。聲波的輸入和輸出，作為電話最初的功能，發(fā)展至今技術(shù)已臻于完善，只能在音質(zhì)穩(wěn)定性上進行小打小鬧地改善。
而圖像已經(jīng)成為智能手機最核心功能，其拍攝技術(shù)和圖像質(zhì)量在不斷升級，其所產(chǎn)生的數(shù)據(jù)也占據(jù)了手機最多的內(nèi)存資源，也成為各種應用最主要的數(shù)據(jù)源頭。
事物的影像通過光的反射進入眼睛當中，視網(wǎng)膜上的感光細胞就可以檢測到這些光的強度、角度和位置，從而引發(fā)生物電信號，最后傳遞給大腦神經(jīng)細胞進行視覺圖像的成像，才讓我們看到和記住看到過的事物。
和生物視覺的實現(xiàn)方式一樣，圖像視覺的處理過程也基本按照這一過程實現(xiàn)，包括收集光源的鏡頭、將光信號轉(zhuǎn)化為電信號的圖像傳感器、對圖像電信號進行數(shù)字處理的 ISP 芯片以及現(xiàn)在能對圖像進行進行分析識別的當紅辣子雞的 AI 芯片。
在我們每一天拿起手機隨手拍照、攝像的過程中，這些不起眼的設(shè)備都在進行著每秒數(shù)以億次的龐大計算，才能讓我們擁有五光十色的拍攝效果。
在圖像技術(shù)一直逼近甚至挑戰(zhàn)人類的視覺能力極限的過程中，ISP 芯片發(fā)揮著至關(guān)重要的作用。本文我們主要關(guān)心下 ISP 的技術(shù)邏輯、ISP 技術(shù)產(chǎn)業(yè)現(xiàn)狀和發(fā)展趨勢。
光的美顏師：ISP 的運行邏輯
ISP，即 "Image Signal Processor"（圖像信號處理器）的縮寫，是用來對前端圖像傳感器輸出信號進行處理的單元。通俗來理解就是，ISP 所要做到的就是將 " 數(shù)字眼睛 " 的視力水平提高到 " 人類眼睛 " 的水平，讓人眼看到數(shù)字圖像時的效果盡可能接近人眼看到實景時的效果。
一個 ISP 其實是一個 SoC 核心，內(nèi)部包含 CPU、SUP IP、IF 等單元，可以運行各種算法程序，實時處理圖像信號。ISP 的控制結(jié)構(gòu)由 ISP 邏輯和運行在上面的 Firmware 兩個部分組成，邏輯單元除了完成一部分算法處理外，還可以統(tǒng)計出當前圖像的實時信息。Firmware 通過獲取 ISP 邏輯的圖像統(tǒng)計信息進行重新計算，反饋控制 Lens、Sensor 和 ISP 邏輯，以達到自動調(diào)節(jié)圖像質(zhì)量的目的。
（圖源：CSDN《ISP 圖像信號處理算法概述》，下同）
根據(jù)專業(yè)人士的介紹，ISP 的具體處理流程是這樣：Lens 將光信號投射到 sensor 的感光區(qū)域后，sensor 經(jīng)過光電轉(zhuǎn)換，將 Bayer 格式的原始圖像送給 ISP，ISP 經(jīng)過算法處理，輸出 RGB 空間域的圖像給后端的視頻采集單元。在這一過程中，ISP 通過運行在其上的 Firmware 固件對 ISP 邏輯，從而對 Lens 和 sensor 進行相應控制，進而完成自動光圈、自動曝光、自動白平衡等功能。其中，F(xiàn)irmware 的運轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動。PQ Tools 工具通過網(wǎng)口或者串口完成對 ISP 的在線圖像質(zhì)量調(diào)節(jié)。
ISP 的算法處理，可以對 Bayer 圖像進行黑電平補償 （black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值、Bayer 噪聲去除、 白平衡（AWB） 矯正、 色彩矯正（color correction）、gamma 矯正、色彩空間轉(zhuǎn)換（RGB 轉(zhuǎn)換為 YUV）、在 YUV 色彩空間上進行彩噪去除與邊緣加強、色彩與對比度加強，中間還要進行自動曝光控制等，然后輸出 YUV 或者 RGB 格式的數(shù)據(jù)， 再通過 I/O 接口傳輸?shù)?CPU 中處理，進行圖像的存儲和顯示。
用我們拍照時常說到，就是圖片的銳化、降噪、優(yōu)化色彩等都是在 ISP 中處理完成的，而且 ISP 還肩負著實現(xiàn)相位、激光、反差等混合對焦運算以及提供對多攝像頭支持等重任，是手機拍照中必不可少的關(guān)鍵一環(huán)。
最終我們看到，ISP 芯片就像一個光的美顏師一樣，使得我們在按下快門的一剎那獲得如此多的畫質(zhì)調(diào)節(jié)和改善，也能在拍攝前主動地選擇各種拍攝場景模式，進行各種拍攝參數(shù)的微調(diào)，讓每個人都能成為影像大師。
成為移動終端圖像處理核心：
ISP 的產(chǎn)業(yè)躍遷
ISP 的出現(xiàn)是和人類對拍攝圖像的高質(zhì)量要求密切相關(guān)的。
NASA 對月球進行勘探時，發(fā)現(xiàn)模擬相機在月球上拍攝的照片十分微弱不清，無法反映真實情況。此后美國發(fā)展出的 CCD 圖像傳感器解決了這一問題，為了確保 CCD 拍攝的圖像能夠清晰和真實地顯示，就需要對 CCD 采集的圖像進行處理，這樣 ISP 圖像信號處理器得以誕生。
隨著數(shù)碼相機和攝像機的廣泛應用，ISP 技術(shù)也得到了快速發(fā)展。在推進高清視頻、圖像產(chǎn)品的過程中，ISP 技術(shù)的創(chuàng)新發(fā)揮了巨大作用，ISP 也從高清攝像機的輔助技術(shù)逐步演變?yōu)殛P(guān)鍵核心技術(shù)。一些高清監(jiān)控硬件廠商為進一步提升畫質(zhì)，開始將 CCD 傳感器替換為 CMOS 圖像傳感器，這樣就將 ISP 內(nèi)置到 CMOS 中，在節(jié)約空間的同時也降低了功耗。
因此，這一創(chuàng)新使得高清攝像機市場實現(xiàn)了從模擬到數(shù)字信號的升級。一般來說，不同的 ISP 匹配不同廠商的 CMOS 圖像傳感器，大部分內(nèi)置 ISP 功能的視頻芯片對 CMOS 芯片的支持都比較完善，可以直接對接各主要廠商的主要產(chǎn)品，使得攝像機體積更小、產(chǎn)品形態(tài)更多，不僅推動在高清攝像機上高清 SoC 芯片的研發(fā)，也讓 CMOS 和 ISP 的組合在移動智能設(shè)備中廣泛普及。
現(xiàn)在，每一款配備攝像頭的移動設(shè)備都搭載了 ISP 芯片。不過對于很多國內(nèi)智能手機廠商而言，他們通常會宣傳自己的產(chǎn)品采用了索尼的 CMOS 圖像傳感器，甚至給出這一感光元件的具體型號，還給出一個多鏡頭陣列的分解圖。但是消費者在拿到手之后，用它拍攝出來的照片并不能如預期的那么好，其中一個很大的原因就是 ISP，就在于這些廠商雖然拿到了高品質(zhì)的光學和感光元件，但是 ISP 沒有能夠跟上。
現(xiàn)在，主要的智能移動設(shè)備的芯片廠商、IP 提供商以及智能手機制造商都在推出自己的 ISP 芯片，但是 ISP 仍然存在著較大的技術(shù)壁壘。
首先，ISP 中大量模塊的算法是相互影響的，其眾多算法需要諸多的調(diào)校工作在其中，這需要大量而長期的經(jīng)驗積累。
其次，作為商用的 ISP，需要眾多的新功能模塊，比如 X-talk 串擾，VSM 等模塊的加入，這也增加了 ISP 的技術(shù)壁壘。
另外，ISP 的技術(shù)需要長期積累，需求少、學習周期長，人才匱乏。因此 ISP 人才團隊組建也是一個考驗公司投入力度、技術(shù)積累的剛性條件。
這讓領(lǐng)先的 ISP 技術(shù)更容易被那些有先發(fā)優(yōu)勢、多年積累的芯片大廠和老牌制造商，比如蘋果、高通、三星、聯(lián)發(fā)科等大廠所掌握。
但越來越多的手機芯片廠商開始自研 ISP 和算法，華為海思就是從麒麟 950 開始集成自研的 950 芯片，使得華為 P9 開始躋身主打攝影拍照手機的第一陣營。
作為全球移動 CPU 芯片核心 IP 提供商的 ARM 也在 2018 年推出了首款 ISP 芯片，最初是面向汽車設(shè)備的移動影像處理，隨后又推出了兩款針對移動終端和物聯(lián)網(wǎng)設(shè)備的 ISP 芯片全新 ARM Mali-C52 和 Mali-C32。ARM 的 ISP 在處理每一像素時會有超過 25 個步驟的處理，其中包括高動態(tài)范圍 ( HDR ) 、降噪以及色彩管理的三個關(guān)鍵步驟對圖像輸出質(zhì)量起到了決定性的影響。
根據(jù)極術(shù)社區(qū)的消息，12 月 3 日，安謀中國最新發(fā)布了 " 玲瓏 "i3/i5 ISP 處理器。這一安謀中國本土團隊自主研發(fā)的首款產(chǎn)品，在降噪、清晰度和寬動態(tài)等指標上達到業(yè)界領(lǐng)先水平，具有高畫質(zhì)、低延時、可配置能力強、擴展兼容性高等特點，可廣泛適用于安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像處理工作，能夠滿足不同場景的多樣化數(shù)據(jù)處理需求。
我們注意到，在對這些 ISP 產(chǎn)品的梳理中，圖像信號處理和 AI 視覺處理正在協(xié)同發(fā)展，既要 " 可看 " 又要 " 看懂 " 的圖像處理，成為未來視覺設(shè)備發(fā)展的關(guān)鍵。
新機遇：視覺處理器
與 ISP 芯片的共生共成
人工智能技術(shù)作為全新的技術(shù)變革要素進入到成像產(chǎn)業(yè)領(lǐng)域，使得圖像的處理和計算迎來更多的挑戰(zhàn)，現(xiàn)在除了 ISP 芯片之外，還需要加入具有 AI 能力的視覺處理器（VP）芯片。
現(xiàn)在，ISP 芯片處在低速穩(wěn)定的增長階段，而 VP 芯片則呈現(xiàn)爆發(fā)式增長。
根據(jù) Yole 的一份市場統(tǒng)計，VP 芯片從 2018 年至 2024 年期間的復合年增長率（CAGR）高達 18%，預計 2024 年將達到 145 億美元規(guī)模。同時，ISP 芯片保持低速穩(wěn)定增長態(tài)勢，2018 年至 2024 年期間的復合年增長率僅為 3%，預計 2024 年將達到 42 億美元規(guī)模。
現(xiàn)在，我們攜帶的移動智能設(shè)備和 IoT 設(shè)備中，對于圖像的處理和計算，不僅僅要實現(xiàn) " 查看 " 的功能，看要實現(xiàn) " 分析 " 的功能，因此，圖像硬件廠商越來越多的要在硬件系統(tǒng)中加入支持人工智能算法特別是深度學習的軟件集成，從而讓圖像硬件系統(tǒng)超越 " 拍攝圖像 " 的限制，能夠?qū)崿F(xiàn) " 分析圖像 " 的能力。
對于我們消費者而言，最主要的感受就是智能手機的人臉識別以及現(xiàn)在一些手機攝像中具有的 AI 美顏以及拍照識物的功能。而在眾多智能視覺領(lǐng)域，VP+ISP 的融合已經(jīng)掀起了一場全新的智能化變革。正如安謀中國最新的 " 玲瓏 "ISP 處理器的發(fā)布，未來可以適用于安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像處理工作，滿足不同場景的數(shù)據(jù)處理需求。
因此，視覺處理器的爆發(fā)式發(fā)展，與 ISP 產(chǎn)業(yè)的發(fā)展是并行不悖的，因為想要實現(xiàn)智能視覺，就必須考慮選擇適合的前端圖像處理方案。如果前端圖像處理的輸出非常糟糕時，那視覺處理系統(tǒng)的結(jié)果也會非常糟糕。
智能視覺系統(tǒng)必須要有可靠的輸入才能產(chǎn)生可靠的結(jié)果，這正是無法離開一顆強大的 ISP 的根本原因。
