自動駕駛算法邏輯框架中的三層特性——“多”重，“自”主，“深”化演進(jìn)
復(fù)睿微電子·方濤博士
作者介紹：方濤博士，畢業(yè)于南京大學(xué)，日本京都大學(xué)博士后研究員。長期從事汽車行業(yè)算法研究。
復(fù)睿微電子：復(fù)睿微電子是世界500強(qiáng)企業(yè)復(fù)星集團(tuán)出資設(shè)立的高新技術(shù)企業(yè)。復(fù)睿微電子植根于創(chuàng)新驅(qū)動的文化，通過技術(shù)創(chuàng)新改變?nèi)藗兊纳睢⒐ぷ鳌W(xué)習(xí)和娛樂方式。公司成立于2022年1月，目標(biāo)成為世界領(lǐng)先的智能出行時代的大算力方案提供商，致力于為汽車電子、人工智能、通用計(jì)算等領(lǐng)域提供以高性能芯片為基礎(chǔ)的解決方案。目前主要從事汽車智能座艙、ADS/ADAS芯片研發(fā)，以領(lǐng)先的芯片設(shè)計(jì)能力和人工智能算法，通過底層技術(shù)賦能，推動汽車產(chǎn)業(yè)的創(chuàng)新發(fā)展，提升人們的出行體驗(yàn)。在智能出?的時代，芯?是汽?的?腦。復(fù)星智能出?集團(tuán)已經(jīng)構(gòu)建了完善的智能出??態(tài)，復(fù)睿微是整個?態(tài)的通??算 ?和??智能?算?的基礎(chǔ)平臺。復(fù)睿微以提升客戶體驗(yàn)為使命，在后摩爾定律時代持續(xù)通過先進(jìn)封裝、先進(jìn)制程和解決?案提升算?，與合作伙伴共同?對汽?智能化的新時代。
前言：
自動駕駛，作為目前汽車產(chǎn)業(yè)整體集中發(fā)力的重要技術(shù)方向，是一項(xiàng)融合了傳感器，先進(jìn)算法，軟件生態(tài)，芯片硬件，地圖導(dǎo)航，整車架構(gòu)、信息安全、法律法規(guī)等多元素多維度，綜合性系統(tǒng)工程。在這之中，算法的開發(fā)和演進(jìn)對于自動駕駛技術(shù)的發(fā)展起到至關(guān)重要的作用。目前的自動駕駛系統(tǒng)在工程實(shí)現(xiàn)上依然面臨各式各樣的挑戰(zhàn)，例如：極端惡劣的天氣條件，復(fù)雜多變的交通狀況，千奇百怪的corner case，以及與傳統(tǒng)智能硬件設(shè)備相比更為苛刻的功能安全等等。這也決定了整個算法的邏輯框架是復(fù)雜的，進(jìn)化的，多粒度的。因此，我們以自底而上的方式，分析自動駕駛算法在邏輯框架的各個層面的特性，梳理對自動駕駛算法的理解以及對未來算法發(fā)展方向的展望。
“Multi-” 是自動駕駛算法的底層特性，來源于駕駛環(huán)境的復(fù)雜性。這一特性體現(xiàn)在：多傳感器輸入，多模態(tài)信息，多任務(wù)處理，多尺度分析，等等
1.多傳感器輸入
隨著自動駕駛等級從L1向L5的提升，對傳感器數(shù)量的需求也是與日俱增。以信號像素分辨率最大，語義最清晰的攝像頭為例，在L2等級的自動駕駛階段，攝像頭的數(shù)目一般不超過5個，而以L4為目標(biāo)的車型上，攝像頭的數(shù)目一般在10個乃至15個以上。更多的傳感器可以讓車輛感知更多更精準(zhǔn)的信息，而一部分的信息冗余也能為自動駕駛提供更好的功能安全保障。這就要求感知算法必須以極低的延遲處理來自多數(shù)據(jù)源的數(shù)據(jù)，以提供即時可靠的信息，保障行駛的安全順暢。
2.多模態(tài)信息
除了傳感器的數(shù)目眾多之外，傳感器的種類也是多種多樣。比如提供圖像信息的攝像頭，紅外傳感器，提供點(diǎn)云信息的激光雷達(dá)和毫米波雷達(dá)，提供距離信息的超聲波傳感器，提供位置信息的GNSS模塊，提供位姿信息的慣性傳感器等等。多樣的傳感器決定了輸入信號的多模態(tài)形式，也使得各種傳感器信息互補(bǔ)，冗余安全。例如，相比于可以提供高像素分辨，色彩信息的攝像頭，雷達(dá)傳感器雖然缺少語義信息，但卻可以提供極高精度的點(diǎn)云即深度信息，并且不受環(huán)境光照條件的影響。因此將各種傳感器，多種模態(tài)輸入的信息進(jìn)行融合是感知算法中的重要模塊。主流的實(shí)現(xiàn)方向有前融合和后融合兩種。后融合算法在各模態(tài)信息進(jìn)行特征提取的基礎(chǔ)之上進(jìn)行融合，數(shù)據(jù)和算力的要求較低，但信息互補(bǔ)的效力也隨之降低。與之相對，前融合算法以不同傳感器的原始數(shù)據(jù)進(jìn)行融合，能夠更好的保留冗余異構(gòu)的多模信息，更好的達(dá)到以數(shù)據(jù)之間的互補(bǔ)來降低識別誤判的風(fēng)險(xiǎn)的效果。同時，高安全性，高魯棒性的前融合算法對算力也提出更高的挑戰(zhàn)。
3.多任務(wù)處理
車輛在行駛過程中需要同時對多任務(wù)進(jìn)行處理，例如感知信號的識別，檢測，分割，融合，目標(biāo)追蹤，行為預(yù)測，規(guī)劃決策等等。能否高效的，即時的處理多任務(wù)是保證車輛行駛安全的重要因素之一。基于多任務(wù)處理的算法設(shè)計(jì)核心思路是盡可能多的復(fù)用骨干網(wǎng)絡(luò)來提取特征以支持不同的下游任務(wù)。這樣做首先可以節(jié)省資源開銷，降低運(yùn)算時延，其次由于各任務(wù)是基于相同的信息進(jìn)行分析和處理，可以充分保證結(jié)果的一致性和連貫性。Tesla的九頭蛇網(wǎng)絡(luò)就是一種非常形象的多任務(wù)網(wǎng)絡(luò)架構(gòu)。
4.多尺度分析
車輛行駛的環(huán)境是復(fù)雜多變的。從卡車，汽車，到單車，行人，乃至遠(yuǎn)處的交通信號和路上的錐桶障礙，需要檢測和追蹤的目標(biāo)的大小，以及目標(biāo)顯示在傳感器上的尺度千差萬別。因此，多尺度分析的發(fā)展，對于自動駕駛的算法，尤其是感知模塊的算法會有相當(dāng)顯著的提升。以特征金字塔網(wǎng)絡(luò)（FPN）和Swin Transformer等類似的多尺度特征分析網(wǎng)絡(luò)架構(gòu)在自動駕駛系統(tǒng)的應(yīng)用中提供高效的感知分析能力。
“Self-” 是自動駕駛算法的中間邏輯層的特性，來源于算法的終極目標(biāo)—自動駕駛。這一特性體現(xiàn)在：自監(jiān)督算法，自注意力機(jī)制，自適應(yīng)大小的高效網(wǎng)絡(luò)設(shè)計(jì)空間，等等
1.自監(jiān)督算法
有監(jiān)督的深度學(xué)習(xí)算法在自動駕駛領(lǐng)域已經(jīng)有了長足的發(fā)展和應(yīng)用，而自監(jiān)督或無監(jiān)督的深度學(xué)習(xí)算法還有相當(dāng)深厚的應(yīng)用潛力有待挖掘。
深度學(xué)習(xí)的算法是數(shù)據(jù)驅(qū)動的，自動駕駛更是如此。有監(jiān)督學(xué)習(xí)需要以大量的標(biāo)注數(shù)據(jù)對深度模型進(jìn)行訓(xùn)練，標(biāo)注數(shù)據(jù)的數(shù)量和質(zhì)量極大程度上影響模型的訓(xùn)練結(jié)果。而大量的優(yōu)質(zhì)標(biāo)注數(shù)據(jù)則意味著極大的時間，人力成本。而自監(jiān)督學(xué)習(xí)框架可以極大程度的減少學(xué)習(xí)過程對于標(biāo)注樣本的依賴。譬如利用數(shù)據(jù)增廣產(chǎn)生的正樣本與其他數(shù)據(jù)的負(fù)樣本之間的度量對比，或部分內(nèi)容掩蓋再預(yù)測的方式學(xué)習(xí)到信息數(shù)據(jù)的本質(zhì)特征。再由自監(jiān)督學(xué)習(xí)中得到的理解了數(shù)據(jù)本質(zhì)的預(yù)訓(xùn)練網(wǎng)絡(luò)應(yīng)用于各項(xiàng)下游任務(wù)中。
除了判別式的自監(jiān)督，生成式的自監(jiān)督算法在自動駕駛領(lǐng)域也有不可忽視的地位。在小樣本數(shù)據(jù)的情況下，通過對抗生成網(wǎng)絡(luò)（GAN）的數(shù)據(jù)增強(qiáng)能使訓(xùn)練獲得更好的學(xué)習(xí)效果。此外，更高的自動駕駛等級也意味著更高的系統(tǒng)安全性要求，而GAN網(wǎng)絡(luò)在數(shù)據(jù)安全的攻擊對抗算法中有著舉足輕重的作用。
強(qiáng)化學(xué)習(xí)是自動駕駛中規(guī)劃控制算法的重要研究方向。其中以行為克隆（Behavior cloning）為代表的有監(jiān)督強(qiáng)化學(xué)習(xí)是目前較為主流的方案，期望以專家的行為模板為機(jī)器算法提供常識性的學(xué)習(xí)經(jīng)驗(yàn)。然而這樣的模仿學(xué)習(xí)需要大量的專家行為數(shù)據(jù)，而且模型的泛化能力也很差，很難應(yīng)對復(fù)雜的道路狀況。就如同圍棋領(lǐng)域，沒有學(xué)習(xí)任何人類經(jīng)驗(yàn)的AlphaGo Zero在自我對弈了數(shù)百萬盤棋局之后，棋力已遠(yuǎn)超參考人類棋譜的前輩Alpha Master。相信在自動駕駛的領(lǐng)域里，隨著交通法規(guī)的不斷細(xì)化完善，虛擬環(huán)境仿真能力的不斷增強(qiáng)，以及芯片算力的不斷提高，自監(jiān)督的強(qiáng)化學(xué)習(xí)也將取代模仿學(xué)習(xí)成為規(guī)劃控制模塊研究的新方向。
2.自注意力機(jī)制
基于自注意力機(jī)制的Transformer算法從最初的NLP領(lǐng)域成功出圈到視覺領(lǐng)域后同樣取得了令人驚嘆的成績。卷積神經(jīng)網(wǎng)絡(luò)（CNN）可以高效的對圖像進(jìn)行特征提取是基于圖像信息局部性、平移不變性、權(quán)重共享和稀疏連接的歸納偏置。而CNN網(wǎng)絡(luò)感受野較小等局限性同樣來自于這樣的歸納偏置。相對應(yīng)的，transformer的自注意力機(jī)制擁有強(qiáng)大的全局建模能力，從根本上規(guī)避了卷積網(wǎng)絡(luò)歸納偏置的缺陷，對于數(shù)據(jù)整體特征的理解更有優(yōu)勢。除了應(yīng)用于傳統(tǒng)視覺的識別，檢測，和分割等任務(wù)之外，自注意力機(jī)制的全局理解能力也能很有效的應(yīng)用于多模態(tài)信息處理，例如多傳感器融合的算法中。
3.自適應(yīng)大小的高效網(wǎng)絡(luò)設(shè)計(jì)空間
網(wǎng)絡(luò)設(shè)計(jì)空間是由Facebook AI團(tuán)隊(duì)提出的網(wǎng)絡(luò)設(shè)計(jì)新范式。如果把每一各網(wǎng)絡(luò)結(jié)構(gòu)看作某種空間上的一個點(diǎn)，那么所有可能的網(wǎng)絡(luò)所組成的點(diǎn)的集合就構(gòu)成一個空間。按照一定設(shè)計(jì)規(guī)則和參數(shù)范圍所映射的子空間就構(gòu)成一個網(wǎng)絡(luò)設(shè)計(jì)空間。這種新范式的設(shè)計(jì)目標(biāo)是用通用性和普適性更高的規(guī)則尋找一個高性能，高泛化性的網(wǎng)絡(luò)設(shè)計(jì)空間，即一個網(wǎng)絡(luò)架構(gòu)簇，而不再是尋找單一的網(wǎng)絡(luò)。文章中提出的Regnet就是用這種方法構(gòu)建出的一套網(wǎng)絡(luò)設(shè)計(jì)空間。使用這種設(shè)計(jì)方式的優(yōu)勢在于，用網(wǎng)絡(luò)設(shè)計(jì)空間的邏輯構(gòu)建出的網(wǎng)絡(luò)簇可以兼顧網(wǎng)絡(luò)表現(xiàn)的整體一致性和網(wǎng)絡(luò)尺度的多樣性，當(dāng)芯片算力提升，希望增加網(wǎng)絡(luò)模型的大小以優(yōu)化算法表現(xiàn)時，用設(shè)計(jì)空間的更大網(wǎng)絡(luò)替換較小網(wǎng)絡(luò)就能實(shí)現(xiàn)目的。因?yàn)榫W(wǎng)絡(luò)空間的整體一致性使得設(shè)計(jì)空間中網(wǎng)絡(luò)間的泛化性增強(qiáng)，網(wǎng)絡(luò)架構(gòu)的優(yōu)化歷程可以由隨機(jī)性的搜索變成系統(tǒng)性的演進(jìn)。
“Deep” 是整個自動駕駛邏輯框架最頂層的特性，是自動駕駛算法未來發(fā)展的方向。
在目前的工程實(shí)踐中，感知模塊中的傳統(tǒng)算法已逐漸被深度學(xué)習(xí)算法取代，而在信息融合，跟蹤預(yù)測等任務(wù)以及規(guī)劃控制模塊中，傳統(tǒng)算法還是發(fā)揮著重要作用。例如卡爾曼濾波算法在信息融合和跟蹤預(yù)測等任務(wù)中有相當(dāng)活躍的表現(xiàn)，而在規(guī)劃模塊中，基于控制論和機(jī)器人學(xué)的算法也被廣泛應(yīng)用于運(yùn)動路徑規(guī)劃中。盡管如此，我們相信深度神經(jīng)網(wǎng)絡(luò)的算法代替?zhèn)鹘y(tǒng)算法幾乎是必然的趨勢。在深度學(xué)習(xí)已經(jīng)涉及的所有科學(xué)技術(shù)領(lǐng)域，人們都無一例外的發(fā)現(xiàn)，只要提供足夠的算力，深度學(xué)習(xí)方法對比傳統(tǒng)算法在精度，普適性，泛化性上都取得壓倒性的優(yōu)勢。隨著車載芯片算力的不斷提升，感知，融合，預(yù)測，規(guī)劃，控制等一個個任務(wù)模塊被深度學(xué)習(xí)算法取代，并最終有可能形成一個端到端的完整深度網(wǎng)絡(luò)模型，是未來自動駕駛發(fā)展的趨勢和方向。
