國際計算機視覺與模式識別會議(CVPR)是人工智能領域最有學術影響力的頂級會議之一。加拿大溫哥華當地時間6月21日,CVPR 2023正式公布了最佳論文等獎項。上海人工智能實驗室(上海AI實驗室)、武漢大學及商湯科技聯合提出的自動駕駛通用模型相關論文從9155篇作品中脫穎而出,獲得本屆CVPR最佳論文獎(Best Paper Award)。
上海AI實驗室聯合團隊獲CVPR 2023最佳論文獎
據悉,這也是近十年來計算機視覺三大頂級會議中(CVPR、ICCV、ECCV)第一篇以中國學術機構作為第一單位的最佳論文。入圍本屆CVPR最佳論文候選名單(Award Candidate)的作品來自包括谷歌、上海AI實驗室、斯坦福大學、康奈爾大學等在內的世界頂尖企業及機構。
最終,上海AI實驗室聯合團隊的研究成果《Planning-oriented Autonomous Driving》[1](以路徑規劃為導向的自動駕駛)摘取CVPR 2023最佳論文獎。該論文首次提出感知決策一體化的自動駕駛通用大模型UniAD,開創了以全局任務為目標的自動駕駛大模型架構先河, 為自動駕駛技術的發展創新提出了新的方向。
在本屆CVPR上,上海AI實驗室以一篇最佳論文、一篇最佳論文候選、12篇入選“Highlight”名單的成績,在國際上充分展示了中國原創AI的實力!
萬里挑一:中國科研團隊閃耀國際頂會
CVPR在學術界及工業界都極具影響力。根據谷歌學術指標(Google Scholar Metrics)2022年列出的全球最有影響力的六大科學期刊/會議中,CVPR位列第四,僅次于《自然》(Nature)、《新英格蘭醫學雜志》(NEJM)、《科學》(Science)期刊,排在《柳葉刀》(The Lancet)和《先進材料》(Advanced Materials)之前。
CVPR每年評選出的一篇或多篇最佳論文,不僅為計算機視覺領域的頂級學術榮譽,更代表了將對未來技術或行業發展產生重要影響的里程碑式研究成果。
今年的CVPR最佳論文近乎“萬里挑一”。據CVPR大會公布,今年的投稿量達9155篇,創下歷史新高。最終,大會共接收論文 2359 篇(接收率25.8%)。其中僅有12篇入選最佳論文候選名單(Award Candidate,入選率1.3‰),提交機構不僅包括谷歌、Stability AI等人工智能領域頂尖企業,也包括上海人工智能實驗室、斯坦福大學、康奈爾大學、香港中文大學、香港科技大學、南洋理工大學等世界一流研究機構及高校。
在本屆CVPR上,上海AI實驗室有12篇論文入圍“Highlight”名單,覆蓋視覺基礎模型、通才模型、三維視覺、底層視覺、視頻檢索、物體檢測、姿態估計、自動駕駛等相關領域的研究。其中,UniAD相關工作獲最佳論文獎、三維物體數據集研究工作入圍最佳論文候選。
上海AI實驗室主任助理喬宇表示,“上海AI實驗室作為人工智能領域的新型科研機構,致力于開展戰略性、原創性、前瞻性的科學研究與技術攻關,這次獲獎在國際上充分展示了中國原創AI的實力!”
開創先河:感知決策一體化自動駕駛大模型
在今年的CVPR最佳論文中,上海AI實驗室聯合團隊提出了首個感知決策一體化的自動駕駛通用大模型,開創了以全局任務為目標的自動駕駛大模型架構先河, 為自動駕駛技術與產業的發展提出了新的方向。
UniAD:業界首個感知決策一體化的自動駕駛大模型
自動駕駛是一個高度復雜的技術體系,不僅需要多個學科領域的知識和技能,包括傳感器硬件、機器學習、多模態融合等內容,還需要適應不同國家與地區的道路規則和交通文化,與車輛及行人進行良好的交互,以實現高度的可靠性和安全性。
自動駕駛系統中包含三大主任務即,感知、預測和規劃。當前,業界主流的方案架構分別采用不同的模塊來處理這些具體任務,但由于各模塊并非以駕駛為最終目標進行優化,因而自動駕駛系統的整體性能提升受到了很大限制。
在UniAD中,研究人員首次將感知、預測和規劃等三大類主任務、六小類子任務(目標檢測、目標跟蹤、場景建圖、軌跡預測、柵格預測和路徑規劃)整合到統一的基于 Transformer的端到端網絡框架下,實現了全棧關鍵任務駕駛通用模型。在 nuScenes 真實場景數據集下,UniAD的所有任務均達到領域最佳性能(State-of-the-art),尤其是預測和規劃效果遠超之前的最佳方案。其中,多目標跟蹤準確率超越SOTA 20%,車道線預測準確率提升30%,預測運動位移和規劃的誤差則分別降低了38%和28%。
在晴天直行場景中,UniAD 可以感知左前方等待的黑色車輛,預測其未來軌跡(即將左轉駛入自車的車道),并立即減速以進行避讓,待黑車駛離后再恢復正常速度直行
在雨天轉彎場景中,即便面對視野干擾較大且場景復雜的十字路口,UniAD 仍能通過分割模塊生成十字路口的整體道路結構(如右側 BEV圖中的綠色分割結果所示),并完成大幅度的左轉
在夜晚視野變暗的情況下,UniAD能感知到前車并完成先靜止,后左轉的規劃
自動駕駛是通用智能大模型“書生”(INTERN)重要的落地應用領域之一,近年來,上海AI實驗室自動駕駛團隊不斷突破創新,挑戰各項自動駕駛研究任務,在多模態、時空融合、端到端、多任務等方面提出了新思路、新模式。
上海AI實驗室青年科學家李弘揚介紹,憑借其充分的可解釋性、安全性、與多模塊的可持續迭代性,UniAD是目前為止最具希望實際部署的端到端模型?;赨niAD的純視覺自動駕駛方案可為產業界提供全新的研發思路,在節省大量硬件成本的同時,有助于提高出行的安全性與舒適性。該科研成果在產業界的落地應用,將有力地推動自動駕駛技術與產品的規模化發展。
[1]論文鏈接: https://arxiv.org/abs/2212.10156
代碼鏈接:https://github.com/OpenDriveLab/UniAD