近日，由百度研究院機器人與自動駕駛實驗室(RAL)團隊牽頭開發(fā)的全新無人挖掘機作業(yè)系統(tǒng)(AES)這一最新技術(shù)成果，登上了國際頂級期刊《Science》子刊 《Science Robotics》，并獲得了評審專家與期刊編委的高度評價。
該研究融合了感知、運動規(guī)劃和控制系統(tǒng)，可驅(qū)動挖掘機自主完成挖裝任務(wù)，進行24小時連續(xù)無人化作業(yè)，并成為全球首個實際落地的、可長時間作業(yè)的無人挖掘機系統(tǒng)，在工程機械自動化、無人化作業(yè)領(lǐng)域具有重要價值和影響。
隨著新型基礎(chǔ)設(shè)施建設(shè)的大力推進，工程機械行業(yè)乘風(fēng)而上，并不斷向數(shù)字化、智能化方向演進。挖掘機被譽為工程機械“皇冠上的明珠”，在資源開采、工業(yè)生產(chǎn)、建設(shè)施工和搶險救災(zāi)等領(lǐng)域應(yīng)用廣泛，且擁有十分可觀的全球市場份額。
為什么要將挖掘機無人化?實際上，由于工作環(huán)境和能力要求等原因，挖掘機行業(yè)普遍存在招工難的人力短缺問題;挖掘機操作手還會遇到塌方、惡劣天氣等問題，這些問題為工業(yè)生產(chǎn)帶來巨大挑戰(zhàn)。基于此，百度無人挖掘機作業(yè)系統(tǒng)(AES)應(yīng)運而生。
挖掘機惡劣工況和作業(yè)環(huán)境
通用型無人挖掘作業(yè)系統(tǒng)
百度RAL實驗室牽頭提出了百度無人挖掘機作業(yè)系統(tǒng)(AES)的研究，并聯(lián)合馬里蘭大學(xué)和百度智能云事業(yè)部合作開發(fā)。AES包含一套以三維環(huán)境感知、實時運動規(guī)劃、魯棒運動控制為核心的AI算法,可在不同工作情況下進行無人化作業(yè)。
無人挖掘機系統(tǒng)(AES)硬件系統(tǒng)
技術(shù)上，AES實現(xiàn)了三個方面的提升：使用多種傳感器融合和感知算法，感知模塊可以支持無人挖掘機在不同的工況和惡劣環(huán)境下進行無人化作業(yè)，保證了AES系統(tǒng)的作業(yè)效率、魯棒性和泛化能力;作業(yè)和運動規(guī)劃模塊融合了數(shù)據(jù)驅(qū)動的學(xué)習(xí)算法和優(yōu)化算法，可以有效計算挖掘位置和挖掘機鏟斗軌跡，確保作業(yè)效率;高精度運動控制系統(tǒng)，有效實現(xiàn)挖掘機各機構(gòu)的精準運動控制。
無人挖掘機系統(tǒng)(AES)框架圖
具體而言，首先，感知系統(tǒng)利用低成本相機和激光雷達，實時生成高精度的三維環(huán)境地圖，通過計算機視覺和深度學(xué)習(xí)等算法，AES可以檢測作業(yè)環(huán)境中的運輸卡車、障礙物、石塊、標(biāo)識和人員等，并對卡車、障礙物等物體進行準確的三維姿態(tài)估計，同時也可以識別作業(yè)物料材質(zhì)等信息。其次，基于感知系統(tǒng)的信息反饋，通過學(xué)習(xí)和優(yōu)化算法，AES能夠快速進行作業(yè)規(guī)劃和多自由度的挖掘機各關(guān)節(jié)運動路徑規(guī)劃，確保提升作業(yè)效率的同時降低機械損耗。最后，通過高精度運動閉環(huán)控制算法，AES能夠?qū)崿F(xiàn)挖掘機各機構(gòu)的精準運動控制，解決了傳統(tǒng)工程機械中運動控制無法閉環(huán)、軌跡難以跟蹤、跟蹤精度差等難題。此外，AES還包含一整套軟件和界面設(shè)計，協(xié)助終端用戶完成系統(tǒng)的操作、部署和使用。
AES視覺感知系統(tǒng)功能模塊
以石塊操作任務(wù)為例，AES系統(tǒng)的操作流程如下。感知系統(tǒng)以“從粗到細”的方式對場景信息進行處理。首先對圖像進行增強處理，消除粉塵對整個識別系統(tǒng)的影響;之后對作業(yè)區(qū)域的物料進行材質(zhì)識別;然后將圖像中石塊所在區(qū)域進行語義和實例分割算法處理。通過融合二維實例分割結(jié)果和LiDAR三維點云，確定石塊的精確三維位置。感知模塊最后將石塊三維位置反饋給規(guī)劃和控制模塊，AES最后通過挖掘機多自由度運動規(guī)劃和運動閉環(huán)控制，實現(xiàn)移除石塊的任務(wù)。
AES石塊操作示例
目前，AES已在多種復(fù)雜的室內(nèi)和室外不同工況下進行了挖裝測試、石塊操作及挖溝任務(wù)等，充分顯示了AES系統(tǒng)具備處理多種挖掘機任務(wù)的能力，證明了AES系統(tǒng)的技術(shù)先進性、作業(yè)任務(wù)兼容性、系統(tǒng)穩(wěn)定性和魯棒性。
AES測試場景
實現(xiàn)落地應(yīng)用 百度AI助力工業(yè)生產(chǎn)智能化
AES已經(jīng)落地工業(yè)廢料處理相關(guān)領(lǐng)域，在實際的無人化、自動化應(yīng)用中發(fā)揮重要作用。AES實現(xiàn)了工業(yè)廢料連續(xù)24小時自動上料功能，助力工業(yè)廢料處理產(chǎn)線實現(xiàn)全程的無人化處理。在工業(yè)廢料上料過程中，AES感知模塊首先進行工業(yè)廢料的地形三維重建，確定待挖掘區(qū)域;運動規(guī)劃模塊根據(jù)感知模塊的信息反饋設(shè)計運動軌跡，控制模塊根據(jù)運動軌跡進行工業(yè)廢料處理。目前AES賦能的無人挖掘機系統(tǒng)已在工業(yè)廢料處理產(chǎn)線上無故障作業(yè)了數(shù)千小時，充分顯示了AES系統(tǒng)的穩(wěn)定性和魯棒性，有效減少了工業(yè)廢料對挖掘機操作手的損害，并為客戶大幅節(jié)省人力成本。
AES連續(xù)24小時無人作業(yè)
在AES系統(tǒng)的基礎(chǔ)上，百度RAL聯(lián)合百度智能云事業(yè)部開發(fā)的“盤古工程機械無人作業(yè)平臺”，已成為國內(nèi)首個基于智能云平臺、軟硬一體、技術(shù)領(lǐng)先的工程機械無人作業(yè)平臺。基于盤古平臺的挖掘機，在沒有駕駛員操作的情況下，自主感知作業(yè)環(huán)境、規(guī)劃任務(wù)并完成作業(yè)。
目前，百度盤古團隊和徐工等工程機械頭部廠商打磨合作，優(yōu)化和落地?zé)o人化作業(yè)系統(tǒng)，幫助工程機械用戶提升生產(chǎn)安全性、降本增效，推動工業(yè)生產(chǎn)向數(shù)字化、智能化、安全化、綠色化的目標(biāo)邁進。
“百度盤古”賦能工程機械無人化作業(yè)
建設(shè)與發(fā)展是人類社會的主旋律，工業(yè)生產(chǎn)的自動化和智能化是未來的主流趨勢。百度將繼續(xù)創(chuàng)新與迭代AI技術(shù)，瞄準工業(yè)生產(chǎn)細分領(lǐng)域，為工業(yè)生產(chǎn)真實場景技術(shù)轉(zhuǎn)型突破賦能，持續(xù)推動技術(shù)落地產(chǎn)業(yè)實際應(yīng)用。
