近日,在全球權威的自動駕駛nuScenes競賽的最新一期評測中,浪潮信息AI團隊斬獲純視覺3D目標檢測任務(nuScenes Detection task)第一名,并將關鍵性指標nuScenes Detection Score(NDS)提高到62.4%
自動駕駛已被眾多車企與AI 領先公司視為未來出行方式變革最重要的支撐性技術,而目標檢測作為自動駕駛技術的核心模塊,其算法的精度和穩定性正在眾多AI研究團隊的推動下,不斷創下新高。nuScenes數據集是目前自動駕駛領域中最流行的公開數據集之一,數據采集自波士頓和新加坡的實際自動駕駛場景,是第一個集成攝像頭、激光雷達和毫米波雷達等多種傳感器,實現360度全傳感器覆蓋的數據集。nuScenes數據集提供了二維、三維物體標注、點云分割、高精地圖等豐富的標注信息,包含1000個場景,擁有140萬幀圖像、39萬幀激光雷達點云數據、23個物體類別、140萬個三維標注框,其數據標注量比KITTI數據集高出7倍以上。
此次浪潮信息AI團隊參與的純視覺3D目標檢測任務是競爭最激烈的賽道,吸引了百度、鑒智機器人、縱目科技、卡內基梅隆大學、加利福尼亞大學伯克利分校、MIT、清華大學、香港科技大學、上海交通大學等全球各地的頂尖AI團隊。
純視覺3D目標檢測任務,就是在不使用激光雷達、毫米波雷達等額外的傳感器信息條件下,僅使用6個攝像頭完成車外360度環視視野的3D目標檢測,不僅需要檢測周圍環境中所有的車、行人、障礙物、交通標志、指示燈等若干類對象,還要精確感知到他們在真實物理世界中的位置、大小、方向、速度等信息。該項任務的主要難點是通過2D圖像難以準確的獲取目標的真實深度和速度,當提取的深度信息不準確時,一切的三維感知任務都會變得異常困難;而當提取的速度信息不準確時,則可能會對后續的決策規劃任務產生致命性的影響。
浪潮信息AI團隊創新開發了基于多相機的時空融合模型架構(Inspur_DABNet4D),在多視角視覺輸入統一轉換到BEV(Bird Eye View)特征空間這一技術框架的基礎上,引入了數據樣本增強、深度增強網絡、時空融合網絡、預訓練權重等,得到了更魯棒更精確的BEV特征,大幅地優化了目標物體監測速度和位移方向預測。
基于多相機的時空融合模型架構實現了四大核心技術突破。一是,更豐富的數據樣本增強算法,將真值以真實的3D物理坐標實現拷貝貼圖,并實現了時序中的擴展,顯著的提高目標檢測精度,可將mAP(全類平均正確率,mean Average Precision)平均提升2%+;二是,更強大的深度增強網絡,主要針對現有方案深度信息難以學習和建模的問題,通過深度網絡架構優化、點云數據監督指導訓練、深度補全等技術,大幅提高深度預測精度;三是,更精細的時空融合網絡,除了進一步優化駕駛場景中自車運動所帶來的時空信息錯位融合問題,還引入了sweep幀數據隨機抽取與當前幀融合,并實現不同幀的數據樣本同步增強操作,使得模型能夠端到端學習到更精細的時序特征;四是,更完善的統一建模形式,即針對駕駛場景的視角廣、尺度大、任務多的特點,設計了端到端的特征提取、融合、檢測頭的統一建模架構,結構簡單、訓練高效、場景通用。預訓練模型可隨時替換自監督模型,快捷便利地完成測試和精度提升。
得益于更先進算法和更高算力的進步,nuScenes競賽的3D目標檢測任務榜單成績在2022年取得大幅提升,其中浪潮信息AI團隊將關鍵性指標NDS提升到62.4%,而相比而言年初的榜單最佳成績是47%。
