深蘭科技自2017年開始嘗試整車設計，一路至今，推出多項應用成果，同時取得多個城市的自動駕駛牌測試照。經過三年中無數次的鉆研和打磨，最終形成的熊貓智能公交整合自動駕駛技術、手脈識別系統、語音交互、精準廣告推送等功能，實現在公交的動力、安全、效益和服務上的全面升級。
中國公共交通行業(yè)：公交服務亟待智能技術強化乘客出行體驗，扭轉赤字運營
公交車是城市交通運輸系統的重要組成部分。盡管我國城市公共交通近年來得到了較快的發(fā)展，但仍有乘客不斷抱怨出行困難，交通成本高。為改善公交服務質量，國務院、交通主管部門曾多次在各類文件中強調公交的智能化、信息化。而后，國家于 2020 年初提出“新基建”， 讓科技賦能戰(zhàn)略深入各個層級。在此背景下，公交行業(yè)面臨必然的轉變，而其長期存在的痛點也亟待科技賦能，實現智能轉型。
耗油及污染：油耗是決定公交車運營成本的根本問題。然而，油耗的多少不僅跟公交車況有關，公交車線路安排、駕駛員節(jié)油技能等因素都在影響公交車耗油情況。另一方面，由于公交車體偏大，且長時間處于駕駛狀態(tài)，其尾氣排放已成為重大污染源之列。
人力依賴：公交司機技術門檻要求高、工作性質單一、勞動強度大，導致從業(yè)人員不斷減少，也令行業(yè)人力成本升高。
舒適度與安全性局限：由于公交車中乘客構成繁雜，車內設施總體落后，無法對個別抽煙、盜竊等異常行為進行實時干預，導致全車乘客出行體驗乃至人身安全受到影響。
線路長期虧損：由于公交系統屬于利民服務，公交車的收費相對低廉，大量公交線路長期處于虧損狀態(tài)，運營商收入總體依賴政府補助，難以有余力主動升級車輛設施，改善服務效果。
智能公交應用內案例解析：以深蘭科技打造熊貓智能公交車為例
如何讓先進的AI技術與城市交通工具加速融合并實現商業(yè)化落地，在增加民眾出行舒適度的同時也扭轉運營商長期赤字的窘境一直是深蘭科技思考和探索的課題。
深蘭科技擁有龐大而完善的人工智能核心技術研發(fā)體系及大量科研人才，并常年基于此優(yōu)勢在自動駕駛技術領域蓄勢，逐步建立技術壁壘。近年來，深蘭科技先后在CVPR、ICCV、ECCV、NeuIPS等世界頂級學術會議的算法競賽中獲世界冠軍。其中，2019年ICCV COCO & Mapillary挑戰(zhàn)賽Mapillary Vistas目標檢測賽道中，任務內容與自動駕駛車輛的感知能力有著強關聯，強調識別靜態(tài)街道圖像對象(如路燈、標志、標桿)和動態(tài)街道主體(如汽車、行人、自行車)的能力。而深蘭科技在此次競賽中一舉奪冠，奠定了公司在自動駕駛領域的優(yōu)勢地位。此外，深蘭科技在生物智能、邊緣計算等技術領域同樣有著技術優(yōu)勢及落地產品，為構建自動駕駛汽車打下深厚的基礎。
另一方面，深蘭科技自2017年開始嘗試整車設計，并持續(xù)推出多項應用成果。2018年6月，深蘭科技推出新零售和自動駕駛的結合產品——芭提雅自動駕駛移動零售車;同年9月，首批12米熊貓智能公共交在常州和長沙試跑。2019年，深蘭科技引入氫能源專家團隊，進入氫能源車的自動駕駛領域。
在此后的兩年里，深蘭科技陸續(xù)取得多個城市的自動駕駛牌測試照，熊貓智能公交也在全國各地實現商業(yè)運行。經過三年中無數次的鉆研和打磨，最終形成的熊貓智能公交成功實現在公交的動力、安全、效益和服務上的全面升級。
一、核心技術——智能駕駛系統
深蘭科技熊貓智能公交車是一款大型人工智能、自動駕駛客車，總長約12米，以磷酸鐵鋰電池為驅動。其智能駕駛系統由感知域子系統、決策控制子系統、線控底盤系統三大部分組成。感知域子系統通過車輛周身布置的傳感器探測環(huán)境信息，感知數據匯入域控制器，進行感知數據融合處理，同時結合車路協同路面交通信息及地圖數據輸出車輛行駛環(huán)境模型。為最大化實現公交車的感知能力，車身安裝了毫米波雷達、激光雷達、車身超聲波雷達陣列以及大量攝像頭，從而全方位采集車身周邊的環(huán)境信息。
由感知傳感器采集的信息將傳輸至FPGA車載高性能集成計算總成，通過各傳感器的時間和空間同步、數據融合處理，完成對車輛周圍交通環(huán)境的感知。而自動駕駛計算單元X86實時控制器根據環(huán)境模型信息進行規(guī)劃、決策與控制，輸出驅動、制動和轉向控制命令，經由整車控制器轉發(fā)車輛線控底盤相應執(zhí)行機構執(zhí)行控制命令，實現車輛的自動駕駛功能。此外，X86實時控制器同樣負責車身失效故障診斷與安全策略保護，將必要信息通過HMI(人機交互——中控屏)或車載語音播報設備提供給司機或車內成員，在必要時切換手動操作，保證駕駛安全。
為保證熊貓智能公交車的整體性能，其車載高性能混合計算平臺采用了ARM和FPGA混合計算架構，峰值功耗低于35瓦。同時，平臺具備完整的標準車用I/O和整車通訊端口，控制計算總成采用全車規(guī)設計，自然風冷，實現IP67防護等級，滿足整車控制和感知融合的計算要求。而嵌入式軟件架構則保證操作系統響應在1毫秒之內，滿足高實時性要求。在硬件架構方面，熊貓智能公交車采用x86+ARM+FPGA模式。X86CPU配有專用實時內核，在操作系統發(fā)生死機或重啟，實時內核仍能夠正常運行，相較于業(yè)界常用的普通工控機+GPU板卡模式具備更高的可靠性。
綜合一系列技術優(yōu)勢，熊貓智能公交車可實現：
二、效益提升——精準廣告推送系統
公交車屬于便民服務，也是社會必須的交通設施，其票價在全球范圍內遠低于國際水平，因此我國大多公交線路長期處于虧損狀態(tài)已是公認的普遍現象，國家為保證公交服務的存在每年需要為運營商提供大量補貼。為控制成本，公交車從有人收費變?yōu)闊o人收費，運營商也嘗試在車內安裝廣告屏試圖創(chuàng)收。然而，單向的廣告投放難以統計成效，廣告商對于用戶關注重點、喜好反饋乃至最重要的轉化率難以形成客觀的數據參考。因而公交車的廣告位長期處于一個尷尬的位置。
為實現公交運營商的效益提升，熊貓智能公交整車搭載有7塊廣告屏，并基于眼控計時廣告系統，結合屏幕所配備的高清攝像頭進行高精度的用戶行為記錄。深蘭科技眼控計時廣告系統引入近距離眼球朝向識別技術，在廣告播放的時間段內，系統將攝像頭實時獲取的客艙內乘客觀看廣告情況的圖像進行算法處理和敏感數據脫敏處理，在保證乘客隱私的前提下，推算每位乘客的觀看時長、性別、年齡段等乘客畫像數據。系統可基于這些數據精準統計每段廣告的投放效果，并以此推送喜愛一時間段的廣告內容，并且可根據觀看人數及其觀看時長進行增值計費，使廣告投放效果做到更加精準有效。
三、智慧出行——智能公交設施
為優(yōu)化乘客的出行體驗，深蘭科技為熊貓智能公交部署了多項智能應用，包含手脈識別扣費系統、語音交互系統以及無人零售系統。
手脈識別技術是高精確生物智能識別技術。通過深蘭科技自主研發(fā)的特征提取算法，系統可通過近紅外傳感器，以非接觸形式采集乘客皮膚以下3毫米處的內部活體特征，實現基于手脈的生物識別身份認證。乘客上車后可通過掃手動作完成自動扣費，比手機掃描二維碼更為便捷。
針對乘客對路線信息、實時路況、站點周邊設施等出行資訊的需求，熊貓智能公交所搭載的語音交互系統可根據車輛運行中所收集到的實時信息，以語音交互的模式為乘客提供信息服務，免除駕駛員分散注意力的風險。
在此之上，熊貓智能公交設智能有無人零售柜，其無人零售系統基于深度學習算法、計算機視覺等人工智能技術搭建。系統采用AI攝像頭360度精確識別商品，自行完成販售工作。結合手脈識別技術，乘客可使用掃手支付，體驗“拿了就走”的便捷購物體驗。另外，依托大數據分析，無人零售系統同樣能夠記錄并分析乘客消費情況，幫助供應商按需配置商品庫存，實現精細化運營。
四、出行安全保障——乘客異常行為監(jiān)控系統
公交車屬于公共區(qū)域，其乘客身份復雜，個體的異常行為會影響到全車乘客的舒適度與出行安全性。針對公交車內場景，深蘭科技為熊貓智能無人車部署了異常行為分析系統，基于上文介紹的眼控廣告攝像頭對拍攝范圍內每位乘客諸如吸煙、受傷、物品遺失，乃至偷竊等異常行為做出反饋，并在車內顯示屏聯動提醒。其具體功能包含：
吸煙檢測：采用one-stage的檢測模式，由煙霧檢測器將不同特征圖譜(feature map)獲得的bbox指標，經過NMS(Non-maximum suppression非極大值抑制算法)方法生成指標集合，從而讓吸煙分類器對檢測結果進行分類。同時，系統配有多種定制的增廣算法，提升分類器的的精準度，完成吸煙行為識別。
乘客區(qū)域智能偵測及預警：基于眼控廣告攝像頭，系統可對車廂內乘客區(qū)域、特定物品放置區(qū)域、幣箱、后門下客緩步臺、車內配電倉門等重點區(qū)域進行智能檢測監(jiān)控，對乘客進入危險區(qū)域、快速移動(車廂內有緊急事件乘客快速移動、聚集等)等行為進行偵測預警。同時，系統可結合目標檢測器識別乘車環(huán)境內的包和人的狀態(tài)，判斷攝像頭區(qū)域內是否存在包裹遺失現象，自動發(fā)出丟包提示。
偷盜檢測：通過攝像頭獲取圖像信息，先對車上乘客做檢測和跟蹤，并得到乘客的時間序列;隨后通過使用two stream的方式對相關的兩個行人之間的行為做判別，實現可疑/非可疑動作分析和判斷，以實現偷盜識別。
摔倒檢測：結合攝像頭所采集的數據，通過乘客關鍵點檢測器，跟蹤模塊，關鍵點分類四個模塊，結合圖像背景檢測判斷當前目標是站立或摔倒的狀態(tài)，并將摔倒的識別結果進行告警。
五、應用成果——深蘭科技造車之路
截止目前，深蘭科技憑借熊貓智能公交車已先后參與“廣州5G營運車輛自動駕駛與車路協同示范區(qū)”、“天津中心生態(tài)城5G-V2X智能公交運營示范線”以及“武漢中央商務區(qū)自動駕駛公交商業(yè)運營示范線”的建設工作。深蘭科技熊貓智能公交車已然成為公司拳頭產品。而成就的背后，則是深蘭科技在過去三年的反復磨煉與堅持的“造車之路”：
2018年，深蘭科技于6月推出芭堤雅自動駕駛移動零售車，結合新零售與自動駕駛技術，以“買東西，叫一個店”的模式在上海首批上路服務;同年9月，首批12米熊貓智能公交車下線，于常州和長沙試跑。
2019年，“AI閃耀一帶一路——熊貓智能巴士發(fā)布會”于1月在上海召開，同時在四個城市同時上路測試。隨后于四月，天津政府批量采購熊貓智能公交并上路載客運行。同年6月，深蘭科技圍繞清潔衛(wèi)生場景推出“熊貓掃地王”自動駕駛環(huán)衛(wèi)車，在多個城市的公園、廣場、地鐵站等場景提供服務。而在2019年8月，深蘭科技正式引入氫能源專家團隊，并針對城市配送場景推出熊貓物流車，正式踏入新能源自動駕駛領域，為動力升級打下基礎。
2020年，熊貓智能公交車厚積而薄發(fā)，先于6月通過深圳自動駕駛測試，商業(yè)運行坪山高鐵站線;又在7月上路武漢，服務武漢市中心CBD線路，成為中國首個商業(yè)運行線路。
至此，深蘭科技是國內唯一獲得長沙、上海、武漢、廣州、深圳大型車自動駕駛測試牌照和武漢商業(yè)營運牌照的(5+1)企業(yè)。 同時熊貓公交也是通過工信部公告進入整車目錄的可批量生產的智能巴士。
在此之上，基于公司在人工智能、自動駕駛等綜合領先科技與落地經驗所構建的優(yōu)勢，深蘭科技將進一步推出45噸自動駕駛熊貓重卡，并于2021年2月8日在上?？偛看髲B舉行項目簽約儀式。根據協議，深蘭科技將在兩年內實現1000臺以上自動駕駛+氫能重卡的交付，與大型港口集團、能源集團及運輸集團等大型央企資源客戶合作，共同在全國范圍內重點港口、物流、礦山等應用場景落地無人駕駛重卡和氫燃料重卡產品。
