2019年，國家相關部委提出，要“兩年內取消高速公路省界收費站”實現(xiàn)不停車快捷收費，減少擁堵、便利群眾。面對政策變更，云南省高速中心清分結算系統(tǒng)需要進行全方位升級改造以達到全國聯(lián)網(wǎng)收費要求。
在清分結算項目升級改造的過程中，數(shù)據(jù)庫建設主要面臨兩個方面的壓力：
一是時間短,工作任務重。政策上，云南公路聯(lián)網(wǎng)收費管理有限公司須盡快實現(xiàn)聯(lián)網(wǎng)收費計費、車道數(shù)據(jù)和現(xiàn)有清分結算系統(tǒng)的設計做好整改配合工作，力爭四個月內全省聯(lián)網(wǎng)收費和清分結算系統(tǒng)整改完畢。
二是數(shù)據(jù)量大，選型難。自2019年5月起云南省全省逐步取消高速公路省界收費站，逐步推廣ETC收費以來，云南省高速公路建成里程突破8000公里，全省發(fā)行ETC用戶累計超過600萬，客車ETC使用率超70%，貨車ETC使用率超60%，選用技術領先的數(shù)據(jù)庫支持云南省全省清分結算業(yè)務迫在眉睫。
項目建設三大難點
各類清分結算業(yè)務要基于數(shù)據(jù)統(tǒng)一平臺提供的數(shù)據(jù)源正常高效進行，實現(xiàn)ETC和CPC交易數(shù)據(jù)的擬合算費，為云南高速路段業(yè)主提供更完整的交易數(shù)據(jù)，減少通行費損失提供支持:完成ETC通行交易清分結算、其他交易清分結算、退費補交清分結算和拓展應用交易清分結算以及省內爭議處理、發(fā)票數(shù)據(jù)上傳、交易對賬核心功能等。
在這種背景下，項目的困難點主要集中在三個方面：
一、業(yè)務量訪問巨大，數(shù)據(jù)庫需要支持讀寫分離，否則會出現(xiàn)數(shù)據(jù)積壓和低查詢效率。
二、省中心清分結算系統(tǒng)與各流程環(huán)節(jié)交互較多，數(shù)據(jù)庫連接數(shù)較多，存在程序直接連庫寫表造成進程間鎖等待的問題。
三、各個收費站上傳給清分系統(tǒng)省中心的數(shù)據(jù)無法集中，只能分散多個數(shù)據(jù)庫存儲，無法高效快速對數(shù)據(jù)進行訪問、統(tǒng)計，影響正常的清分結算業(yè)務的及時完成。
本次清分結算系統(tǒng)數(shù)據(jù)庫全部采用國產(chǎn)數(shù)據(jù)庫AntDB，實現(xiàn)高速核心業(yè)務系統(tǒng)數(shù)據(jù)庫全面自主可控。
清分結算系統(tǒng)負責處理并存儲收費系統(tǒng)下發(fā)的出口交易流水、門架交易流水、部中心下發(fā)的記賬信息等數(shù)據(jù)，并產(chǎn)生各種清分結算數(shù)據(jù)的系統(tǒng)，每日處理數(shù)據(jù)量超過5000萬條，同時各類交易處理具有較強的時效性。
通過引入分布式關系型數(shù)據(jù)庫 AntDB，清分結算系統(tǒng)不僅滿足了各類數(shù)據(jù)實時及批量入庫的需求，還對外提供在線查詢功能，同時兼顧了各類定期報表功能需求，實現(xiàn)了數(shù)據(jù)庫層面的統(tǒng)一，其整體功能架構如下圖所示：
AntDB特性滿足清分結算業(yè)務特點
AntDB可以高效支撐清分結算系統(tǒng)的超高并發(fā)業(yè)務，保證交易流水等數(shù)據(jù)處理“一條不漏，一條不錯”。AntDB具備內存計算引擎，提供極致數(shù)據(jù)處理性能、基于SQL的數(shù)據(jù)訪問服務以及可插拔的擴展服務；原生分布式設計，對應用完全透明，兼顧性能與可擴展性；有超強scale up能力，對CPU、內存、連接數(shù)不做限制；用戶可以在線進行擴容操作，擴容過程不影響用戶的線上業(yè)務，隨著業(yè)務的快速增長數(shù)據(jù)庫可以橫向在線擴展。
AntDB數(shù)據(jù)庫可以處理HTAP即交易加實時分析的融合場景，滿足清分結算業(yè)務包括在線交易、數(shù)據(jù)分析、報表輸出等場景需求。AntDB數(shù)據(jù)庫具備實時強一致的分布式事務控制能力，確保數(shù)據(jù)零丟失和事務一致性，保證拆分數(shù)據(jù)和報表數(shù)據(jù)的準確性；在分布式場景下提供規(guī)范的數(shù)據(jù)訪問控制，全局數(shù)據(jù)可實現(xiàn)一致性備份和恢復，并提供嚴格的數(shù)據(jù)訪問控制和數(shù)據(jù)防傾斜設計，保證業(yè)務數(shù)據(jù)安全可靠；支持異地容災，具備高可用，出現(xiàn)故障時可以自動剔除故障節(jié)點，保障業(yè)務持續(xù)可用，保證數(shù)據(jù)庫系統(tǒng)達到99.999%的服務等級；具備動態(tài)高效的SQL執(zhí)行引擎，提供異構索引，內置reduce數(shù)據(jù)處理引擎，數(shù)據(jù)節(jié)點間可以進行通信，提高數(shù)據(jù)處理效率，尤其是復雜查詢場景的數(shù)據(jù)處理效率。
圖：AntDB產(chǎn)品架構
AntDB數(shù)據(jù)庫滿足省中心清分結算系統(tǒng)相關的所有需存儲數(shù)據(jù)的需求，包括ETC門架通行交易數(shù)據(jù)、站省傳輸上傳的通行交易數(shù)據(jù)、部中心上傳、下載的所有數(shù)據(jù)、基礎參數(shù)數(shù)據(jù)、計費相關數(shù)據(jù)、拆分數(shù)據(jù)、記賬數(shù)據(jù)、對賬數(shù)據(jù)等。基于分布式版本的AntDB數(shù)據(jù)庫，針對上述數(shù)據(jù)設計分片分區(qū)方式，將數(shù)據(jù)打散存放到數(shù)據(jù)庫集群的各個數(shù)據(jù)節(jié)點中，減小單個數(shù)據(jù)節(jié)點的數(shù)據(jù)規(guī)模；在業(yè)務查詢及數(shù)據(jù)錄入時，可以大大提升其操作性能，避免互相之間的資源競爭。
AntDB中數(shù)據(jù)分片和分區(qū)對上層應用均是透明的，外部應用程序或接口無需關注底層數(shù)據(jù)分布，只需要關注上層業(yè)務邏輯。
AntDB對于OLTP場景下的數(shù)據(jù)處理做了大量優(yōu)化工作，例如針對保證事務一致性的2PC協(xié)議做了優(yōu)化，如果事務操作的數(shù)據(jù)僅涉及單個數(shù)據(jù)節(jié)點，那么計算節(jié)點僅進行一階段提交，只需要確認對應的數(shù)據(jù)節(jié)點已經(jīng)完成提交就任務事務提交已完成。只有當事務操作的數(shù)據(jù)涉及兩個或以上數(shù)據(jù)節(jié)點時，計算節(jié)點才會啟動兩階段提交，大大提升了處理性能。
清分結算系統(tǒng)中的AntDB數(shù)據(jù)庫分布式架構中包含5個計算節(jié)點，計算節(jié)點為無狀態(tài)節(jié)點，無主備狀態(tài)，均可以對外提供服務，可根據(jù)業(yè)務發(fā)展情況進行彈性伸縮，大大提升了AntDB對于高并發(fā)業(yè)務的支撐能力和靈活度，目前數(shù)據(jù)庫所有計算節(jié)點承載活躍連接數(shù)在1000左右，后續(xù)業(yè)務并發(fā)如果持續(xù)增加，可以對計算節(jié)點進行在線擴容，滿足客戶快速增長的業(yè)務需求。
同時，在AntDB中統(tǒng)一進行存儲于處理的各類數(shù)據(jù)，可通過同步機制增量提供給副本集群（只讀訪問），實現(xiàn)數(shù)據(jù)的集中統(tǒng)一、資源隔離。通過一套數(shù)據(jù)庫滿足清分結算、車道收費、接口上傳業(yè)務開發(fā)支撐能力。統(tǒng)一數(shù)據(jù)入口，各系統(tǒng)采集的數(shù)據(jù)由清分結算統(tǒng)一處理存放到數(shù)據(jù)庫中，實現(xiàn)統(tǒng)一接入。
清分結算系統(tǒng)存在大量報表需求，需要提供對清分結算結果各種維度的報表數(shù)據(jù)查詢以及下載，按照時間粒度可以分為日報表、月報表等。按照業(yè)務類型分類包括通行費收入劃賬報表、通行費收入劃賬明細報表、ETC通行交易省內/外通行費收費分賬報表、現(xiàn)金交易省內/外通行費收費分賬報表、移動支付交易省內/外通行費收費分賬報表等。報表系統(tǒng)日處理源數(shù)據(jù)量達到2000萬以上，所生成報表數(shù)據(jù)量達到70萬以上，數(shù)據(jù)量巨大。
大數(shù)據(jù)量的報表生成和查詢場景對AntDB在分析場景下的數(shù)據(jù)處理性能提出了很高的要求。大表查詢場景下，查詢SQL中的where條件若有分片鍵，這個查詢會精確路由到具體的節(jié)點中，以提高查詢效率。如果SQL的where條件中沒有分片鍵，就會進行一次全節(jié)點掃描可能會造成資源的浪費，增加鎖沖突的概率，并且拖慢性能等。
針對該場景，AntDB內部支持異構索引，異構索引采用空間換時間的方式來解決全量掃描的問題，內核自動維護分片鍵和索引鍵之間的映射關系建立異構索引，使用異構索引將避免全節(jié)點掃描，可以解決業(yè)務使用中存在多個查詢維度時不帶分片鍵造成的查詢性能下降的問題。AntDB內置分布式并行執(zhí)行引擎，在分析場景下當系統(tǒng)執(zhí)行一個查詢語句時，需要掃描表的內容，然后經(jīng)過一系列計算，最后將結果返回給用戶。AntDB內置的分布式并行執(zhí)行引擎，在多個數(shù)據(jù)節(jié)點之間組網(wǎng)傳輸數(shù)據(jù)，利用多節(jié)點并發(fā)處理數(shù)據(jù)，可以使聚集、排序、關聯(lián)等操作獲得倍數(shù)級的性能提升，隨著節(jié)點數(shù)的增加，性能提升線性增長。
AntDB啟用多進程掃描，使用多個后臺worker進程利用CPU多個核心、動態(tài)共享內存、工作進程間通信和消息傳遞來實現(xiàn)并行的數(shù)據(jù)掃描；
AntDB啟用并行Hash Join，使用多個worker進程，每個worker節(jié)點執(zhí)行相同的任務，在數(shù)據(jù)節(jié)點使用一個數(shù)據(jù)量小的表作為驅動表，用作Hash表，均分后的大表數(shù)據(jù)和Hash表做數(shù)據(jù)Join，最終在計算節(jié)點匯總數(shù)據(jù)；
AntDB啟用并行排序，使用多個worker進程，每個worker節(jié)點在數(shù)據(jù)節(jié)點將獲取的結果集數(shù)據(jù)進行排序，最終提交數(shù)據(jù)到計算節(jié)點并匯總排序數(shù)據(jù)；
AntDB啟用并行創(chuàng)建索引，使用多個worker進程，在數(shù)據(jù)節(jié)點并行創(chuàng)建btree索引，提升索引創(chuàng)建效率；
AntDB啟用并行Union，使用多個worker進程，每個worker節(jié)點執(zhí)行相同的任務，掃描的數(shù)據(jù)在每個數(shù)據(jù)節(jié)點進行Union操作，最終將所有節(jié)點Union后的數(shù)據(jù)匯總至計算節(jié)點最終執(zhí)行一次Union操作。
如上幾大特性提升了AntDB在OLAP場景下的數(shù)據(jù)處理性能，AntDB數(shù)據(jù)庫的上線提高了清分結算系統(tǒng)報表數(shù)據(jù)的生成效率和準確度。
AntDB應用實效
通過前文的描述可以看出清分結算系統(tǒng)的業(yè)務特點是典型的HTAP場景，AntDB是具備HTAP特性的分布式數(shù)據(jù)庫，一套數(shù)據(jù)庫可以同時支撐OLTP和OLAP業(yè)務場景，按照業(yè)務要求提供各類綜合業(yè)務處理和報表服務。此外AntDB可以啟用讀寫分離，將讀流量分擔到備節(jié)點，降低主節(jié)點讀寫壓力，從而提高數(shù)據(jù)庫的整體性能。
AntDB上線后清分結算系統(tǒng)ETC拆分業(yè)務效率提升90%，ETC清分記賬效率提升60%，報表生成時間縮短接近90%。AntDB采用特有的copy命令進行數(shù)據(jù)加載，每個節(jié)點每秒可完成17.5萬條數(shù)據(jù)的入庫，5節(jié)點按照80%的效率預估，入庫效率可達到每秒80萬記錄。數(shù)據(jù)導出方面，也使用特有的copy命令，性能與數(shù)據(jù)加載在同等規(guī)模水平，大大提高了客戶清分結算系統(tǒng)的各項業(yè)務的處理效率。
高可用方面，清分結算系統(tǒng)中AntDB數(shù)據(jù)庫的數(shù)據(jù)節(jié)點一主兩備部署保證高可用，AntDB部署架構示意圖如下：
為了最大化利用資源，生產(chǎn)數(shù)據(jù)庫數(shù)據(jù)節(jié)點從一主兩備調整為一主一備，原來生產(chǎn)庫中的異步從庫下架作為歷史數(shù)據(jù)庫使用，歷史數(shù)據(jù)庫同樣采用一主一備架構，保證高可用，歷史數(shù)據(jù)庫承擔歷史數(shù)據(jù)備份和歷史數(shù)據(jù)查詢業(yè)務，由于歷史數(shù)據(jù)查詢頻率較低，故服務器采用成本更低的HDD硬盤。調整后數(shù)據(jù)庫集群如下圖所示。
歷史數(shù)據(jù)庫上線后，主庫運行壓力大幅下降，數(shù)據(jù)處理性能得到提升。該方案在保證客戶生產(chǎn)庫高可用的同時降低了生產(chǎn)庫運行壓力，而且最大化利用了客戶現(xiàn)有資源，降低了客戶成本。此次生產(chǎn)庫集群調整和歷史庫上線充分展示了AntDB分布式數(shù)據(jù)庫的彈性伸縮能力和靈活性，可以根據(jù)客戶需求及業(yè)務發(fā)展情況進行調整。
優(yōu)勢總結和推廣價值
在該項目中的國產(chǎn)自主可控數(shù)據(jù)庫AntDB的應用，提供了省中心數(shù)據(jù)統(tǒng)一服務能力以及“全流程+多協(xié)議+高性能+全業(yè)務數(shù)據(jù)”的處理能力，滿足海量交易數(shù)據(jù)的集中采集、處理、查詢要求，為取消省界收費后部-省兩級架構支撐系統(tǒng)提供新動力。
一、 技術架構優(yōu)勢總結
（一）分布式特性克服傳統(tǒng)數(shù)據(jù)庫弊端：分布式數(shù)據(jù)庫是當代數(shù)據(jù)庫系統(tǒng)的主要特性之一，AntDB數(shù)據(jù)庫的部署，使用5臺SSD+10臺HDD主機資源，集群節(jié)點采用一主兩從部署架構保證集群高可靠性，面向應用，支持國產(chǎn)服務器的在線擴展、在線擴容，應用無須關心數(shù)據(jù)量的突發(fā)增長及物理服務器的具體位置，完美地解決了這一難題。
（二）技術架構的高可用特性提供可靠業(yè)務保障：網(wǎng)絡應具備混合架構及服務高可用的能力。項目中AntDB具備集群自愈、兩地三中心容災架構，保證秒級自動鼓掌切換實現(xiàn)業(yè)務的連續(xù)性，并且能確保數(shù)據(jù)的完整性和強一致性。從傳統(tǒng)IOE架構轉為AntDB的分布式架構后，數(shù)據(jù)庫依然可以獲得99.999%的SLA服務保障。
二、 效果優(yōu)勢體現(xiàn)總結
AntDB使用分布式并行執(zhí)行引擎，充分使用硬件資源，使得處理效率大幅提升。現(xiàn)今的AntDB正高效完成業(yè)務報表的輸出，支撐處理云南高速每天1000萬條門架流水、200萬條車道流水。當前數(shù)據(jù)量存儲累計超100TB，已穩(wěn)定運行近兩年，獲得了業(yè)務團隊和業(yè)界的認可。AntDB作為自主可控的國產(chǎn)數(shù)據(jù)庫，成功運用于該“清分結算”類大數(shù)據(jù)庫平臺業(yè)務，具有廣泛的社會意義：
高速交通行業(yè)示范作用：通過我省清分結算國產(chǎn)數(shù)據(jù)庫的成功應用，為高速行業(yè)內應用國產(chǎn)數(shù)據(jù)庫樹立典范，增強行業(yè)內應用國產(chǎn)技術的信心。
信創(chuàng)產(chǎn)業(yè)示范效應：既響應國家號召、破解核心軟件“卡脖子”風險，又落實云南省交通投資建設集團有限公司要求，助力公司實現(xiàn)自主可控創(chuàng)新引領，提升業(yè)務連續(xù)性，規(guī)避供應鏈安全風險。
