城市軌道交通（以下簡稱“城軌”）作為大中城市公共交通的主動脈，每天客流量高達幾百萬人次，且客流量還在不斷上升，這對各城市的軌道交通公司的運維能力提出了較高的要求：一方面，要保障的線路安全可靠運行，避免發(fā)生安全事故；另一方面，要優(yōu)化維修計劃，將“計劃修”轉(zhuǎn)變?yōu)?ldquo;狀態(tài)修”，從而減少車輛維修時間，降低維修成本。因此，需要采用一種智能化的城軌車輛運維方案，實現(xiàn)對城軌列車關(guān)鍵系統(tǒng)和部件運行狀態(tài)的實時監(jiān)測，并依托大數(shù)據(jù)、人工智能等技術(shù)，結(jié)合車輛運行和檢修數(shù)據(jù)進行分析挖掘，診斷并預測設(shè)備的健康狀態(tài)，從而保障的車輛安全性和可靠性，即建立城軌車輛智能運維系統(tǒng)。
中國中車股份有限公司（英語：CRRC Corporation Limited，縮寫：CRRC），簡稱中國中車，是中國一家從事鐵路機車、鐵路車輛、動車組、地鐵及其零部件的研發(fā)、制造、廠修及 IGBT、公車等周邊產(chǎn)業(yè)的大型中央企業(yè)，是全球最大的軌道交通設(shè)備制造商和解決方案供應商。
基于IoTDB時序數(shù)據(jù)庫的特點和優(yōu)勢和其在城軌車輛智能運維系統(tǒng)構(gòu)建中的適用性，中國中車選擇 IoTDB 作為城軌車輛智能運維系統(tǒng)的核心部分，設(shè)計了一種輕量化的系統(tǒng)架構(gòu)，有效提高了存儲空間利用率和數(shù)據(jù)檢索效率。
1.業(yè)務(wù)需求痛點
城軌車輛智能運維系統(tǒng)需要實現(xiàn)從數(shù)據(jù)采集、數(shù)據(jù)存儲到數(shù)據(jù)分析、數(shù)據(jù)展示的全流程、全功能的覆蓋。流轉(zhuǎn)于系統(tǒng)內(nèi)的數(shù)據(jù)具有變量多、周期短、變化小、時效性強等特點，因此對系統(tǒng)中各功能模塊的性能提出了較高要求。
1.1 毫秒級實時數(shù)據(jù)接收
城軌車輛上安裝的數(shù)據(jù)采集和發(fā)送裝置可實時采集和發(fā)送車輛的運行狀態(tài)數(shù)據(jù)和故障數(shù)據(jù)。城軌車輛智能運維系統(tǒng)可實時獲取列車信息。系統(tǒng)需在一個周期（一般為毫秒級）內(nèi)完成對所有車輛發(fā)送的當前周期內(nèi)數(shù)據(jù)的校驗和存儲操作。
1.2 TB級數(shù)據(jù)存儲
城軌車輛智能運維系統(tǒng)所需數(shù)據(jù)存儲空間大。一條城軌線路的列車數(shù)量一般在20列以上，每列列車上各子系統(tǒng)的傳感器數(shù)量可達上萬個，需回傳至地面系統(tǒng)的變量一般為3000～5000個左右，每個變量至少需14字節(jié)（標識符占4字節(jié)，時間戳占6字節(jié)，值占4字節(jié)）。按照500ms的發(fā)送周期，及最小的列車數(shù)量、變量數(shù)、字節(jié)數(shù)計算，城軌車輛智能運維系統(tǒng)覆蓋一條線路時一年所需的存儲空間為52980480000000字節(jié)，約為48.19TB。當覆蓋的線路增多時，數(shù)據(jù)量將會呈線性增長。
1.3 實時監(jiān)控
城軌車輛智能運維系統(tǒng)需實現(xiàn)城軌列車運行狀態(tài)的實時監(jiān)控，這就要求系統(tǒng)必須在一個數(shù)據(jù)接收周期內(nèi)將所有變量當前的最新值更新至顯示前端。同時，系統(tǒng)還應提供對歷史數(shù)據(jù)的查詢和展示功能，即將一段時間范圍內(nèi)的數(shù)據(jù)以美觀、易理解的圖表形式向用戶展示出來，并在用戶可接受的時間內(nèi)返回結(jié)果。
1.4 便捷計算統(tǒng)計
城軌車輛智能運維系統(tǒng)所接收的數(shù)據(jù)中，有些需要先進行計算、換算或者統(tǒng)計，然后再進行展示，并希望無需編寫復雜的 SQL 語句就能實現(xiàn)計算功能。例如：通過電流值和電壓值計算功率值、換算載荷值的單位，統(tǒng)計牽引能耗在某小時、某天、某月內(nèi)的最大值、最小值、平均值、累計值等。
2.數(shù)據(jù)庫選型
目前，城軌車輛智能運維系統(tǒng)大多以關(guān)系型或非關(guān)系型數(shù)據(jù)庫作為其數(shù)據(jù)存儲的核心架構(gòu)。這種數(shù)據(jù)庫雖然實現(xiàn)了時序數(shù)據(jù)的存儲需求，但寫入和查詢性能較差，且在數(shù)據(jù)壓縮、數(shù)據(jù)展示等方面功能不夠完善。為解決需求痛點，中車使用時序數(shù)據(jù)庫 IoTDB 作為城軌車輛智能運維系統(tǒng)的核心部分，應用于對城軌車輛實時數(shù)據(jù)的采集、存儲和展示。城軌車輛智能運維系統(tǒng)之所以以 IoTDB 時序數(shù)據(jù)庫為核心進行構(gòu)建，原因為下述幾個 IoTDB 的技術(shù)、性能和功能優(yōu)勢。
2.1 IoTDB應用架構(gòu)體系
IoTDB 由多個組件構(gòu)成，涵蓋數(shù)據(jù)收集、數(shù)據(jù)寫入、數(shù)據(jù)存儲、數(shù)據(jù)查詢、數(shù)據(jù)分析、數(shù)據(jù)可視化等多個功能。IoTDB應用架構(gòu)如下圖所示。IoTDB 通過 JDBC（Java 數(shù)據(jù)庫連接）驅(qū)動，廣泛地支持多種異構(gòu)數(shù)據(jù)源的接入，包括設(shè)備數(shù)據(jù)、系統(tǒng)狀態(tài)數(shù)據(jù)、消息隊列數(shù)據(jù)、應用數(shù)據(jù)以及其它數(shù)據(jù)庫中的數(shù)據(jù)等。用戶通過命令行客戶端交互工具能夠?qū)?shù)據(jù)庫進行寫入和查詢操作，也可以通過 Grafana 監(jiān)控工具以圖形化方式查看數(shù)據(jù)變化趨勢。TsFile 是一種專門為時間序列數(shù)據(jù)而設(shè)計的存儲格式，支持高效的壓縮和查詢能力，是 IoTDB 的核心組成部分。對于寫入 TsFile 文件中的數(shù)據(jù)，可以通過 TsFileSync 同步工具將文件同步至 HDFS（Hadoop分布式文件系統(tǒng)）中，進而實現(xiàn)在 Hadoop 或 Spark 等開源平臺上進行時序數(shù)據(jù)的處理和分析。
2.2 技術(shù)優(yōu)勢
2.2.1 高效存儲數(shù)據(jù)結(jié)構(gòu)
對實時數(shù)據(jù)和歷史數(shù)據(jù)存儲是時序數(shù)據(jù)庫最基礎(chǔ)、最核心的功能。下圖展示了 IoTDB 的路徑層級示例。通過“路徑+時間范圍”的組合，可以唯一確定 IoTDB 中的時序數(shù)據(jù)。此外，采用路徑的層級設(shè)計，可以實現(xiàn)通過路徑劃分不同的存儲空間，屬于同一路徑層級的數(shù)據(jù)能夠存儲在連續(xù)的磁盤空間上，避免了頻繁的I/O(輸入/輸出)切換，并且隔離了不同的時序數(shù)據(jù)。
2.2.2 一寫多讀根據(jù)數(shù)據(jù)量靈活擴展
IoTDB支持“一寫多讀”的部署模式，即一個系統(tǒng)內(nèi)可以部署多套 IoTDB。通過寫入節(jié)點負責寫入、查詢負載，多個查詢節(jié)點負責歷史數(shù)據(jù)的查詢負載，IoTDB 有效均衡了寫入和查詢工作量，避免兩種操作對磁盤、網(wǎng)絡(luò)的相互影響。隨著數(shù)據(jù)量的不斷增加，只需擴展查詢節(jié)點的硬件設(shè)備，無需中斷系統(tǒng)的正常運行。此外，IoTDB 基于 Raft 協(xié)議實現(xiàn)了一種分布式框架，將數(shù)據(jù)按時間序列組進行分區(qū)，以多副本的方式實現(xiàn)數(shù)據(jù)的可靠存儲，并通過共識協(xié)議保證數(shù)據(jù)的強一致性。
2.3 性能優(yōu)勢
2.3.1 高頻數(shù)據(jù)寫入和查詢
IoTDB對時序數(shù)據(jù)的處理具有天然的優(yōu)勢，能夠?qū)崿F(xiàn)每秒數(shù)百萬數(shù)據(jù)點寫入和查詢的能力。中國中車通過模擬城軌車輛運行狀態(tài)數(shù)據(jù)，對 IoTDB-v0.11.2進行了寫入和查詢性能測試，測試結(jié)果匯總于表1和表2中。根據(jù)測試結(jié)果可以看出，IoTDB 能夠有效支撐線網(wǎng)級城軌車輛智能運維系統(tǒng)的寫入和查詢性能需求。
2.3.2 多種歷史數(shù)據(jù)壓縮方式節(jié)省成本
利用 IoTDB 的歷史數(shù)據(jù)壓縮能力可以有效減少城軌車輛智能運維系統(tǒng)歷史數(shù)據(jù)的數(shù)據(jù)量，節(jié)省存儲介質(zhì)成本。歷史數(shù)據(jù)壓縮是利用各種算法縮小歷史數(shù)據(jù)的冗余部分，同時盡量減少或避免數(shù)據(jù)失真。歷史數(shù)據(jù)的壓縮方式一般分為有損壓縮、無損壓縮和二級壓縮三種。有損壓縮能夠?qū)崿F(xiàn)較高的壓縮比，但會導致數(shù)據(jù)精度下降；無損壓縮不會降低原數(shù)據(jù)的精度，但要在壓縮率、壓縮速度和解壓速度三者之間進行權(quán)衡；二級壓縮則是結(jié)合了上述兩種壓縮方式的優(yōu)點，即先對數(shù)據(jù)進行第一級有損壓縮，再使用無損壓縮算法進行第二級壓縮。此外，壓縮算法的效果還依賴于數(shù)據(jù)本身，數(shù)據(jù)變化越小、精度要求越低，則壓縮效果越好。
2.4 功能優(yōu)勢
2.4.1 支持異常數(shù)據(jù)處理場景
由于網(wǎng)絡(luò)延遲、軟件性能、設(shè)備故障等原因不可避免地會出現(xiàn)數(shù)據(jù)無序到達、產(chǎn)生錯誤數(shù)據(jù)和重復數(shù)據(jù)等異常情況。IoTDB 能夠支持數(shù)據(jù)異常情況下的工業(yè)應用場景，包括時間序列數(shù)據(jù)的亂序?qū)懭搿r間序列數(shù)據(jù)的批量更新，以及對無效、無用時間序列數(shù)據(jù)的清理刪除。
2.4.2 數(shù)據(jù)降采樣提升查詢響應速度
數(shù)據(jù)降采樣是指數(shù)據(jù)庫對查詢到的結(jié)果集按照一定規(guī)則進行重新篩選，使篩選后的數(shù)據(jù)量小于原始數(shù)據(jù)量，且又不影響數(shù)據(jù)查詢者的應用需求。IoTDB 通過聚合操作實現(xiàn)數(shù)據(jù)的降采樣功能，既能保證圖表的準確性，也能有效減少數(shù)據(jù)傳輸量，提高響應速度，不出現(xiàn)如數(shù)據(jù)點過于密集導致影響整體展示效果。
2.4.3 多種操作提升預處理效果
城軌車輛上的子系統(tǒng)、設(shè)備、傳感器種類繁多，各自具有不同的采樣頻率，在進行數(shù)據(jù)分析之前，需要對時序數(shù)據(jù)進行預處理。IoTDB 支持多種基于時間序列維度的數(shù)據(jù)操作，如按照時間戳進行數(shù)據(jù)對齊、按時間戳進行時序數(shù)據(jù)分割等，有效減少了數(shù)據(jù)預處理的難度和復雜度。
2.4.4 可自定義計算方式及保存計算結(jié)果
相比于關(guān)系型數(shù)據(jù)庫，IoTDB 時序數(shù)據(jù)庫能夠提供更為強大的計算能力。通過 IoTDB 內(nèi)置的統(tǒng)計分析計算函數(shù)，可以根據(jù)時序數(shù)據(jù)的時間戳進行基于時間斷面的計算、基于年月日的統(tǒng)計計算等。結(jié)合各類函數(shù)和自定義的計算公式，能夠?qū)崿F(xiàn)對原始數(shù)據(jù)進行復雜計算，計算結(jié)果可保存在 IoTDB 中，也可用于再次計算。
2.4.5 兼容大數(shù)據(jù)分析工具
基于大數(shù)據(jù)技術(shù)和Hadoop生態(tài)軟件進行城軌列車運維數(shù)據(jù)分析是當前的一個熱門課題。IoTDB 能夠完美對接Hadoop生態(tài)中的各種軟件，配合 Ha-doop 提供的分布式計算、存儲機制，可提高城軌車輛智能運維系統(tǒng)在大數(shù)據(jù)管理和分析方面的運行效率和處理能力。此外，IoTDB 還可以對接 Spark 實時計算引擎，提供一種輕量級的數(shù)據(jù)分析解決方案，降低硬件資源部署量。
2.4.6 提供可視化工具展示數(shù)據(jù)
存入 IoTDB 的時序數(shù)據(jù)可通過可視化工具進行展示，便于城軌車輛智能運維系統(tǒng)的用戶對進入系統(tǒng)的原始數(shù)據(jù)進行觀察和分析。Grafana 是一款開源的度量分析和可視化工具，具有數(shù)據(jù)監(jiān)控、數(shù)據(jù)統(tǒng)計和告警等功能。通過開發(fā) IoTDB-Grafana 適配器，用戶可利用 Grafana 的 Web 頁面以可視化圖表的方式直接查看IoTDB中的數(shù)據(jù)并進行分析，也可以在 Grafana 上進行一些數(shù)據(jù)探索工作。
3.解決方案架構(gòu)
城軌車輛智能運維系統(tǒng)以保障城軌車輛運行安全、提高車輛檢修質(zhì)量、提升運營管理整體效能為目標，結(jié)合物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術(shù)，實現(xiàn)對列車運行過程的全息感知和實時監(jiān)控，有效輔助管理人員進行科學決策。
基于IoTDB時序數(shù)據(jù)庫構(gòu)建城軌車輛智能運維系統(tǒng)，其總體架構(gòu)如上圖所示，共分為3層，包括數(shù)據(jù)源層、數(shù)據(jù)存儲層和數(shù)據(jù)應用層。該設(shè)計以 IoTDB 時序數(shù)據(jù)庫代替了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和 NoSQL 數(shù)據(jù)庫，顯著提高了對城軌列車時序數(shù)據(jù)的寫入和查詢效率，且能夠滿足數(shù)據(jù)量持續(xù)增長的需求。
3.1數(shù)據(jù)源層
數(shù)據(jù)源層覆蓋所有城軌列車，列車上不同子系統(tǒng)、不同設(shè)備上的傳感器產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)按照特定發(fā)送周期，通過無線傳輸模塊以 TCP、MQTT 等協(xié)議發(fā)送至城軌運營公司的數(shù)據(jù)中心。
3.2 數(shù)據(jù)存儲層
數(shù)據(jù)存儲層主要由IoTDB時序數(shù)據(jù)庫和Kafka消息隊列組成。數(shù)據(jù)源層發(fā)來的時序數(shù)據(jù)首先進入Kafka消息隊列進行緩存，按照一定的規(guī)則或算法進入不同的 Topic 和 Partition。這樣既能分擔寫入任務(wù)的負載，也能通過Kafka的副本機制，確保接收到的數(shù)據(jù)不會丟失。IoTDB－JDBC接口從 Kafka 的消費者端接收列車的實時數(shù)據(jù)，并存入寫入節(jié)點的實時數(shù)據(jù) TsFile 文件中。
隨著數(shù)據(jù)量的不斷擴大，當單個 IoTDB 節(jié)點的存儲能力無法支撐數(shù)據(jù)存儲時，可采用橫向擴展的方式再部署一個或多個 IoTDB 查詢節(jié)點，并設(shè)置為只讀模式。在“一寫多讀”方式下，為避免單點故障，實現(xiàn)高可用，將寫入節(jié)點配置為主備模式，通過 IoTDB 自身的同步機制實現(xiàn)數(shù)據(jù)同步。
IoTDB 處理過的實時數(shù)據(jù)為監(jiān)視控制類應用提供支撐，歷史數(shù)據(jù)為數(shù)據(jù)分析和挖掘類應用提供訓練和測試樣本。由于采用了數(shù)據(jù)壓縮技術(shù)，歷史數(shù)據(jù)所占用的存儲空間能夠得到有效控制。
3.3 數(shù)據(jù)應用層
數(shù)據(jù)應用層是系統(tǒng)對外輸出能力的展現(xiàn)，提供如車輛運行狀態(tài)監(jiān)控、故障報警、設(shè)備健康管理、維修信息管理、報表生成等多種應用。城軌運營公司基于這些應用，可實現(xiàn)智能化管理，減少人力成本，提升城軌交通服務(wù)水平。
4.總結(jié)
在 IoTDB 的助力下，城軌車輛智能運維系統(tǒng)可以充分發(fā)揮其處理城軌列車時序數(shù)據(jù)的天然優(yōu)勢，同時又可以無縫對接大數(shù)據(jù)管理分析平臺，具有高性能、高可靠性和高易用性等特點。未來，本案例給出的輕量化系統(tǒng)架構(gòu)設(shè)計，可為城軌車輛智能運維系統(tǒng)的后續(xù)開發(fā)提供參考和借鑒。IoTDB 會繼續(xù)支持中國中車對于時序數(shù)據(jù)的處理及分析需求，以更加豐富的功能幫助城軌車輛智能運維系統(tǒng)實現(xiàn)優(yōu)化。
本文整理自：IoTDB 物聯(lián)網(wǎng)數(shù)據(jù)庫在城市軌道交通車輛智能運維系統(tǒng)中的應用, 城市軌道交通研究,2021原論文作者：姜仕軍;徐曉晨;徐燕芬;杜廣林
