編者薦語:
強化物理世界,以虛控實,形成實時互聯的空間網絡,這正是元宇宙的本質。南航與亮亮視野一起,圍繞航空元宇宙定義了包括軟硬件標準、數據范式和交互范式等通用型的基礎規范,基于AR的工作新方式也將以顛覆式的姿態引領空間交互時代的到來。
以下文章來源于航空維修與工程 ,作者王錦申、梁偉明、吳斐、周激光
在各行各業如火如荼的數字化轉型實踐中,南航機務系統可謂是走在了行業前列。本文就如何拓寬數字化系統的外延,科學選擇層出不窮的新技術新手段,乃至形成一定的規范和標準,讓數字化系統“善假于物”這一典型問題進行了簡單的探討。
5G時代的來臨帶動著萬物互聯的不斷推進。當前數字化已經成為了人們工作和生活中不可或缺的元素,互聯網、大數據、人工智能與實體經濟的深度融合正在成為傳統行業持續提升產業競爭力的技術基點。面向“十四五”,民航局提出新時期總體工作思路的四個新局面之一“智慧民航建設要有新突破”。大環境下,數字化轉型已經在航空維修各領域逐次展開。其中,南航工程技術提出了以構型管理為核心的數字化平臺建設,對飛機、人員和資源進行虛擬世界的“動態數字畫像”,切實反映物理世界的真實變化。
飛機維修屬于典型的離散型制造業,生產過程中存在很多變化和不確定因素,繁多的生產要素間長期處于一種弱耦合的狀態。為了讓構型管理滲透到各生產末端,做到“一切業務數字化”,南航聯合增強現實領域領先的科技公司亮亮視野通過研究和探索,找到了以增強現實(AR)技術作為數字化的“慧眼”, 通過打造基于AR的工作方式,努力實現對全業務流程的數字化覆蓋。
1 以構型為基礎的數字化平臺建設
構型管理是對物理對象的實時狀態進行“完整的描述”和數字化傳遞或輸出的系統化管控方法。構型管理的基本要素是能夠保證對象構型的完整性、準確性和實時性。因此,需要在線連接人、設備、流程等所有和生產相關的要素,并能秒級感知狀態的變化。基于狀態感知的精準構型管理是民航工程人員長期不懈追求的理想。近5年來,依靠云原生技術、大前端和實時數據引擎等技術的進步,這一理想得以逐步照進現實。
構型數據的更新來源于各個業務環節的末端。基于民航維修業的特點,這些生產末端的數據采集難度主要體現在以下幾個方面:
1) 工作內容不固定,無法采用機器替代或標準化的采集方式;
2) 工作場所不固定,無法采用定點的采集方式;
3) 工作不允許頻繁中斷,無法讓工作者隨時填寫數據;
4) 涉及的因素多,人機料法環各方面都需要進行完整的記錄。
如何對這些數據進行實時的采集,并如實地反映到系統中,是必須要解決的難題。更進一步,基于實時采集的業務全流程數據基礎,構建出更精準的數字化模型,進行仿真以及智能化決策,最終反饋到物理現場,賦能現場工作人員,強化物理世界,以虛控實,形成實時互聯的空間網絡,這正是元宇宙的本質。結合愈發成熟的5G、云計算、數字孿生、AR/VR等新技術,元宇宙的應用和體驗近年來迎來了爆發式的增長。而為了讓更多的人進入元宇宙,基于空間交互的AR技術,成為了關鍵。
2 人機交互的變革——AR技術的引入
人+AR的模式是維修業發展史上一個革命性的變革,因為它打通了人與機器連接的最后一米。相對于其他常見的信息終端,如執法記錄儀、智能手電、平板和手機等,AR技術的優勢非常明顯。執法記錄儀和智能手電的不足在于只能滿足單一視頻影像記錄的功能;而手機和平板在錄入數據時雖然比較方便,但由于現場工作和環境的復雜性,頻繁拿出手機和平板也會嚴重降低工作效率,增加安全風險;同時多種設備的使用也會帶來數據規范和兼容性的問題。
AR作為繼PC、手機、智能手機之后的新一代交互方式,隨著技術的發展,在充分對比和評估后,南航認為AR眼鏡更能滿足機務現場工作的實際環境,成為打通人與數字世界最后一米的最佳工具。工作者將無需再手持工卡、對講機、簽字筆、手電等物品,真正做到解放雙手和第一視角介入,極大提升工作的便利性。同時,伴隨著與物聯網(IoT)、知識圖譜、5G邊緣計算等技術的深度融合,AR技術可以在任意時間,高效賦能一線工作人員。
目前,大部分AR工業場景的應用聚焦于利用AR眼鏡的交互功能進行遠程工程協作,提升一線的工作效率。截至2021年底,南航已完成對國內外28個主要基地和外站AR遠程工程協作的部署落地。在此基礎之上,南航自2020年開始致力于打造在軟硬件和交互方式等各個層面,適用于航空維修行業不同職能領域,基于AR底座的完整解決方案,并以此作為以構型管理為基礎的數字化系統的外延架構,承載平臺感官能力的向外延伸。
3 打造航空元宇宙的基石——AR底座
3.1 AR底座的介紹
AR底座構建基于開源生態的AR操作系統,融合增強現實、IOT、數字孿生、AI能力和自動化執行等多種先進生產力解決技術,具備流暢的融合交互能力、自然的云原生能力和強大的環境感知能力,賦予現場工作者和管理者全新的工作和數據視野。底座定義了包括軟硬件標準、數據范式和交互范式等通用型的基礎規范。后續的AR應用和終端輸出都建立在底座的標準和規范之上,進行適應性的改造和定制。
AR 底座的構成示意圖
AR 底座的應用架構
3.2 硬件標準
航空業擁有眾多不同的工作環境和工作場景,在硬件方面存在很多不同的需求,在深度調研和使用市場現有的設備后,南航提出了自己對AR硬件的需求,亮亮視野的增強現實眼鏡最符合期望。
顯示規范
在AR增強顯示世界中,最核心的是顯示及相關的技術,主要指標如下。
a. 透過率。透過率會直接影響佩戴者在陰天、夜晚和室內的安全使用。使用光波導技術,透過率可超過80%,幾乎與日常鏡片一致;
b. 透視偏差。透視偏差引起的畸變會影響觀看者看到的真實世界,會帶來安全隱患。目前市面上的光學方案中光波導畸變最小;
c. 無漏光、無鏡像。也就是使其他人無法看到佩戴者看到的信息,對工作內容進行保護;
d. 亮度和對比度。這兩者決定了是否能夠適應更多的環境,無需遮光也能看到更多的信息,同時讓顯示更能融入現實;
e. 分辨率和顯示視場角。它們決定能否通過頭動和環視顯示出足夠的內容。
結構設計規范
結構和設計方面,安全性、舒適性和擴展性都是需要考慮的指標。
a. 可折疊一體化的設計,更便于攜帶。專業人機工學設計和輕盈的重量可以保障佩戴者的安全性、舒適性和長時間工作的穩定性。
b. 由于智能眼鏡的設計集成度非常高,還有顯示、攝像頭等高功耗元件,因此需要具有良好的散熱性能。而且擁有三防設計才能夠很好地適應機務工作 的復雜惡劣環境。c. 需要有高擴展性,可以快速連接如測距模組、雷達模組、測溫模組、便攜探頭等多種設備,適應不同的維修檢查環境。
d. 需要Hyper-Connect超連接技術,能夠讓設備獨立工作的同時,也能通過藍牙和有線連接到手機等智能設備上,當使用有線連接時,智能眼鏡將在性能、續航、數據傳輸等方面得到躍升。
電源管理規范
智能眼鏡如同手機一樣,在所有模組都大踏步前進時,相對停滯的是電池模組。而智能眼鏡的體積重量就注定無法通過暴力堆電池而獲得長時間續航。只能通過優化芯片、顯示等提升續航能力,確保可以足夠完成一定的作業量;同時還可以通過感知佩戴者行為的方法,保證信息只在需要時顯示,也能夠長時間等待語音命令的喚醒,減少待機消耗。
音頻和攝像能力規范
a. 聲學方面,噪聲抑制模式、現場聲音還原能力對于很多嘈雜的航空維修現場和需要聽到現場聲音做診斷是必需具備的;
b. 攝像能力方面需要可實現全景深成像,提升感知和識別精度,同時還要擁有快速的形變響應時間、超低靜態功耗和更小的體積控制;
c. 頭戴式攝像頭會產生大幅度大角度抖動,這對于后臺是不可接受的。必須要解決防抖、防眩暈的問題,降低暈動癥。同時還需要建立在輕量化、低功耗的前提條件上;d. 測距能力、人體體征參數感知能力、乃至環境感知的能力,讓AR眼鏡增強感知的同時,擁有更加強大的主動感知智能。
3.3 交互規范
三維世界的信息如何準確地呈現到佩戴者的視野中,通過自適應雙目視差融合,左右眼能夠輸出不同的圖像,達到立體視覺的效果,再通過算法對不同人的屈光不正、瞳距不同和顯示內容進行小范圍調整以達到最佳的顯示效果。
視覺即時定位與地圖構建(vSLAM)技術是通過圖像進行的空間虛擬定位技術,除了讓需要疊加的信息更穩定的疊加到空間中外,還能感知到佩戴者所處的空間位置,進行信息的協同。
多模態融合TOUCH技術結合了語音識別、手勢識別、身體姿態識別、空間定位、AI算法等多種交互手段,讓佩戴者更好地與空間中的增強信息進行交互。
4 基于AR的工作方式
以AR工卡為例, AR工卡不是簡單的電子化工卡,而是從編寫開始,到執行、記錄、反饋等一系列過程的流程再造。南航以波音737NG主力機型為試點,在主要站點上已經開始了AR工卡的編寫和實施落地工作。
4.1 AR工卡的編寫
目前很多維修企業都開始了工卡的結構化工作,簡單來說就是把以前只有人才能讀懂的工卡,變成了電腦也可以讀懂的工卡。而AR工卡就是在這種結構化工卡的基礎之上,將工卡步驟向對象化轉變,通過對象化的屬性標簽為步驟賦能,如重點部件的三維動畫工程圖的支持、動態的風險提示支持、AI圖形識別的支持、手冊信息的支持、APS 信息支持、輔助工具的支持,乃至過往執行狀況記錄等等,只要遵循這些增強型標簽的規范,將來都可以直接在AR設備上呈現。
同時還加入了可視化的流程編輯,完善對步驟執行的反饋需求、動作標準和選擇判斷等。結合對現場執行反饋的研究,對AR工卡的編輯功能進行持續的調整和升級。
4.2 AR工卡的執行
通過對工卡信息的重構,人機交互過程的優化,AR工卡的執行給工作者帶來的是一種全新的工作體驗。
1) 場景化的執行步驟:工作者面對的不再是單調枯燥的文字任務,而是隨工作進程而逐步展開的一幕幕場景,場景化便于工作者聚焦具體任務,充分了解當前任務的同時免除無效信息的干擾;而清晰的工卡流程路線、可視化指引,步驟描述的多維化,也進一步避免了文字可能帶來的歧義,同時清晰掌握當前的進度狀況;提供手勢簽署、語音簽署和交互式信息自動記錄等多種便捷的全新簽署方式,在實現簽署更多記錄內容的同時,工作者承擔的簽署負擔反而大大減少。
2) 代入式的工作指引:在場景中,工作者具有上帝化的視角,增強簽署、輔助拍照、自動測量等輔助工具可以揮手即來;手冊資料、經驗文檔、APS指引等借助知識圖譜技術可以方便觸達;后臺專家也可以隨時呼叫,提供更多支援。獲取知識、輔助決策是工作者在日常工作中頻繁遇到的問題,傳統的做法是停下工作去翻查手冊、咨詢工程師,通常還可能需要多次往返工作現場和辦公室。借助AR的方式,工作者可以方便獲取所需的各種支援,且無需離開現場。
3) 沉浸式的工作體驗:AR化工作方式建立的是一種資源找人、知識找人的新體驗,工作者可以在場域中便捷獲取知識、工具、航材的有效支持。雖然“單兵作戰,裝備輕量”,但卻隨時處于“重炮火”的支援之下,營造了以人為中心 的“工作場”,工作者可以最大程度的專心于工作進程,避免頻繁中斷。
4.3 系統提升
基于AR的工作方式對系統帶來的提升也是非常顯著的。
1) 安全的提升AR工卡可以提供以下安全防范方式:
a. 風險提示功能:當流程進行到相關節點時,風險點被觸發產生預警;
b. 關鍵部位AI識別:對關鍵部位進行AI識別,狀態異常時禁止進行簽署或實施下一步;c. 安全影像留存和多維綜合報告:工作過程的自動無感影像留存,綜合多維綜合報告,可以提供系統復查和改正提升;
d. 5G專網的環境下,可以實現工卡數據不出園區,不存在數據泄露等網絡安全風險。
2) 現場管理的提升
現場的執行信息、實施視頻等會實時回傳后臺控制中心。后臺可以即時掌握整體的現場狀況,包括整體進度和局部甚至個體的實施進度,也可以隨時調取相關的歷史執行數據,當工作任務發生變更時,還可以實時進行任務派發或后臺介入。
3) 實時客觀的數據采集
基于AR的方式,數據采集可以延伸到全業務環節的各生產末端,實時感知相關工作對構型的影響并同步進行構型數據變更,確保構型數據的實時有效。
現場數據的客觀采集,除了提供安全記錄和自我分析之外,也極大豐富了維修記錄的數據,數據采集的數量和客觀性都是傳統手段所無法比擬的,更有利于后續的數據處理、數據分析和知識反哺。
4.4 底層邏輯探索
復雜工卡涉及到手冊交聯查詢、多人互動,不僅需要研究眼鏡如何更加適合工卡,同樣也會考慮改變工卡的原有模式。如利用眼動儀采集眼動數據指標,分析工作者在這個過程中注意力分配的方法,優化現有編寫工卡的方式;同時發現和糾正不同工作者在注意力分配方面存在的問題,對于提升維護質量和效率具有明顯的作用;更進一步,相關分析數據還會向手冊方面擴展,提出對手冊的改進需求。
同時,使用AR智能眼鏡、眼動儀,采集航線繞機、定檢和其他專項工作的視頻過程、眼動、脈搏波、皮膚電流、皮膚溫度、心率等多維度數據,不僅為“人員畫像”提供了依據,還將為交互界面設計、人員工作壓力、現場工作復盤、效率提升、安全監管等提供寶貴的數據支持。
5 5G數字底座
4G網絡主要聚焦公眾服務,網絡上行帶寬小、傳輸時延大,網絡架構上也存在一定的安全性問題。而5G網絡聚焦行業應用,采用多種技術手段提高上行帶寬,降低傳輸時延,網絡架構上也通過切片隔離的手段提高了安全性。
對于AR來說,復雜的場景理解、海量的三維信息、實時的虛實互動,都需要高算力云渲染、低時延編碼以及高帶寬低時延能力的保障支撐。只有5G定制專網可以完全滿足AR發展的這些要求。
在快速移動的場景中,5G讓穩定的毫秒級實時數據同步變得可能,也保障了AR終端的流暢;在基于3D圖形在現場三維場景中疊加虛擬信息時,5G大寬帶的作用體現在提升3D模型等多媒體內容的實時加載速度,無需提前下載到本地,需要時直接從云端加載,降低終端設備的運算負擔;在真實感體驗上,借助于5G的低時延屬性,以及云端服務器的強大性能,可以將渲染任務放到服務器端,然后再以視頻流的形式傳回本地AR設備上,這樣可以在移動端獲得高質量的3D渲染,讓移動芯片的AR設備也能顯示出頂級的畫質;在需要快速獲取結果的邊緣計算場景中,可以采用將5G的核心網元UPF下沉到網絡邊緣,數據本地處理,降低傳輸時延,在邊緣節點就可以快速進行超大數據量的比對,完成場景的初始化、閉環檢測等任務,快速將計算結果傳遞給用戶。同時5G還可以大幅提升AR傳輸數據容量:5G專網能夠提供包括:QoS專屬定制服務、MIMO技術、多頻譜能力等,可為企業生產專網提供更充裕的網絡容量。
6 慧眼識道
基于AR的工作方式通過打磨適配工業場景的AR底座,加持高速泛在、安全可信的5G定制網絡,突破傳統的工作范式,形成以AR設備為節點,聯接人與數字世界的數字化“慧眼”。然而,我們必須認識到,在引入新技術、新工具對傳統工作方式進行數字化改造的同時,必然會經歷適應、調整、迭代和提升等多個階段,科學的檢驗標準和迭代方法論能夠在這個過程中指明技術發展的方向,加速新技術和新工具在行業應用的迭代速度,并形成新一代的行業規范和標準。南航工程技術和亮亮技術團隊在探索和實踐中逐步摸索出一條數字化技術應用檢驗的標準之“道”(TAOIX),具體體現在以下 5個方面。
1) 無感和微介入(Touchless):系統、方法和工具的使用能夠把更多的環節交給系統自動完成,減少人工的參與。這不僅是出于提高效率的考慮,也 是從源頭減少人為差錯和數據錯誤的有效保證;同時,系統、方法和工具的使 用和佩戴應最大程度地減少對使用者正常自然行為和感知的干擾;
2) 自適應能力(Adaptive):系統、方法和工具需要具備一定的感知和調整的自適應能力,包括系統與人、系統與環境以及系統與系統之間的感知、適應和自動調整能力;
3) 持續優化能力(Optimized):系統、方法和工具的使用能夠對流程、 工序等帶來持續的優化和改進,基于數據和運籌學的方法進行分析和決策建 議,科學地迭代優化行業流程,形成全新的行業實踐;
4) 沉浸式工作(Immersive):系統、方法和工具的使用會增強工作的沉浸式感受,使工作進程不被打斷,改變傳統的人找知識、人找資源的模式,形成知識找人、資源找人的智能化沉浸式工作范式;
5) 可擴展能力(eXtensible):隨著業務需求不斷延伸,相關應用的外延具有可擴展性,觸達相關業務的全環節、各末端,甚至是相關產業鏈的上下游。
7 結束語
綜上所述,盡管南航工程技術經過研究和探索已經找到了以AR技術為數字化的“慧眼”,且正著力打造基于AR的工作新方式,但同時也非常希望與眾多合作伙伴一起,持續進行相關的探索和研究,使AR底座逐步具象化,為行業提供更通用、開放、模塊化的服務,實現快速的部署和復用。更多的場景應用是我們持續努力的方向。我們相信,隨著應用的不斷擴張,AR底座的力量也將持續得到驗證和升級,基于AR的工作新方式也將以顛覆式的姿態引領空間交互時代的到來。
作者簡介 :
王錦申,中國南方航空工程技術分公司(機務工程部),副總經理。
梁偉明,中國電信廣州白云分公司,總經理。
吳斐,北京亮亮視野科技有限公司,董事長及創始人。
周激光,中國南方航空工程技術分公司(機務工程部),高級工程師。
