5月11日,第七次全國人口普查結果公布。
國家統計局總統計師曾玉平在發布會直播中表示:“普查數據質量是普查統計工作的生命線……利用信息化,對普查方式進行創新:首次全面采用電子化,實時及時上報數據;首次實現普查對象通過互聯網自主填報;首次利用行政大數據進行比對核查;首次實現利用互聯網云計算云服務實時處理工作;首次用信息化系統對700多萬普查員進行線上管理。”
騰訊云在背后為第七次全國人口普查保駕護航。據統計,在該項目中,騰訊云數據庫支持了十億級用戶數據、七百萬個終端和百萬級峰值TPS(每秒事務處理量)。
高并發、高復雜度實時統計和分析查詢的要求
在這個過程中,700萬普查員使用微信小程序進行數據采集,約一億人使用微信自主填報小程序進行信息錄入,海量數據全部實時入庫;與此同時,為了便于假如數據采集出現問題能夠在第二天及時補充采集、修正,系統同時需要快速完成對入庫數據的實時查詢分析。
“大量的數據要收集上來,同時數據的更新和數據的查詢是互相交錯的,不僅要應對動態的人口流動,比如一個人今天在深圳而明天在北京,同時要準確對應起人和戶、人和人之間的關系。”據介紹,使用電子化方式開展全國人口普查工作,涉及范圍廣、統計維度多、技術難度大。
團隊專家決定再在小程序和TDSQL之間加上騰訊云Redis,將其作為緩存承接所有終端涌入的數據,然后把數據落入TDSQL中。有了這么一道緩存墻,業務運行中既能從容應對暴漲的流量,也能防止小程序突然崩潰,給這次普查上了一道“雙保險”。
這背后也意味著,對背后的數據庫技術在并發性、可靠性、一致性、擴展性、穩定性,以及復雜查詢分析能力提出極高的要求。如何在十幾億中國人的數據在15天內涌入時保證用戶體驗和服務可持續性?如何縮短登記時間同時保證數據安全?如何在動態人口流動中準確登記、高效完成多個超大表關聯實時分析?……
騰訊云數據庫TDSQL解決之道 為億級數據裝上“雙引擎”
700多萬B端混合負載業務、十幾億C端OLTP業務、海量的數據分析任務……本次全國人口普查項目,騰訊云數據庫提供了“OLTP+OLAP”雙引擎融合的企業級分布式數據庫管理系統TDSQL,平穩、高效支撐第七次全國人口普查工作完成。
OLTP能力專門用來完成前端生產系統的事務處理,其最大的優點是即時地處理輸入的數據,并及時響應,實時保持系統數據處于最新狀態;后者則負責后期數據聯機查詢分析處理,支持復雜的分析操作。
雙引擎的融合,完整、平穩、高效地支撐了全國人口普查數據登記及統計分析整個體系化工作。
其中,TDSQL OLTP引擎提供了支撐大并發的性能,包括線程池、無鎖優化等等,支撐3萬+的數據庫連接;強同步技術在跨可用區的情況下,滿足高吞吐量、主備數據一致性和高可用的能力;彈性的容量伸縮,可根據實際運營情況進行容量水平擴展。此外,智能運營系統“扁鵲”,則可針對性能較低的SQL給出優化建議,同時自動評估業務的事務模型,降低鎖沖突,提升并發能力。
測試中,TDSQL數據庫應對高并發場景時可以實現數百萬每秒的吞吐量,這樣的吞吐規模已經可以滿足目前中國人口2倍的數量。借此實力,實際統計中TDSQL數據庫自然扛住了普查過程中的并發高峰。
同時,業務具有大規模實時查詢分析的需求,普查員在前端不斷錄用的數據也將在TDSQL OLAP能力引擎中進行進一步的數據分析。在分析型功能特性方面,TDSQL OLAP引擎通過對多表join查詢、復雜子查詢、聚合運算、DN數據高效重分布表現上進行了極大的優化,大大地縮短了業務報表分析時間。據介紹,TDSQL支持目前市面上幾乎全部標準的OLAP復雜查詢計算模型,包括TPCDS等,各類復雜查詢業務需求。
同時,在此過程中,OLAP分析計算開銷大、延遲長,同時還要滿足海量的并發請求,TDSQL OLAP引擎通過水平擴展多個只讀平面,為復雜查詢分析場景提供線性讀擴展能力,并通過在多個平面前置負載均衡做到擴縮容業務完全無感知。
據了解,在這些龐大的數據中,不乏多張超級大表關聯高并發統計查詢,其每張表中存放了超過20億+條記錄。如果把其中存放一張超級表的空間用來存放平均50萬字的書籍,可以放下超過1000萬本,一個人終其一生也讀不完。
更重要的是,基于全局一致性技術,可實時保障多平面下內部的全局讀一致性。
保障系統可用可靠 企業級安全特性加持護航
規模浩瀚的人口普查工作,系統業務架構復雜、并發度高,在災備設計、高可用能力保障上,整個數據庫采用了一主三從、強同步復制和異地災備的備份方案,在某個數據節點出現故障時,都能保證數據的完整和一致;哪怕出現大規模的突發情況,通過異地災備,也能夠進行數據恢復。
TDSQL的安全性經過了騰訊各類核心業務10余年大規模產品的驗證,包括社交、電商、支付、音視頻等不同類型的產品。在災備方面,TDSQL提供完善的數據備份、容災、一鍵升級、快速恢復,以及數據庫防火墻、透明加密等功能,同時建立起完善的監控和報警體系,大部分故障都通過自動化程序處理恢復。在整個過程中,TDSQL從早期就磨煉下來的企業級安全特性能力,持續為人口普查工作保駕護航。
此外,為了讓整個普查過程能夠更加容易感知,騰訊云圖將普查收集到的海量數據進行處理,通過數字大屏和餅狀圖等工具實時清晰地展示人口報送情況,并對各省報送情況進行動畫效果展示,使得普查小組能夠更加直觀地了解整體情況和各地普查進度,根據大屏信息安排進一步的工作,提高工作效率。和其他產品協同,完成了數據“上傳——入庫——分析——展示”的最后一公里。
全國人口普查的電子化推進,TDSQL“OLTP+OLAP”雙引擎融合一起承接了百萬級TPS峰值,另外OLAP引擎還額外支撐千萬級峰值的統計查詢服務,助力第七次全國人口普查工作順利完成。同時,據新華網統計報道,與2010年全國第六次人口普查的紙表入戶登記方式相比,電子采集的方式將登記時間縮小到了20分鐘以內,也很大程度上降低了后期數據錄入、處理的難度。
可以說,這標志著,社會生活的方方面面都已逐步邁入信息化智能化的云時代,我國自研的信息化技術可常態化滿足社會大規模信息化應用需求,且能夠滿足政府金融等行業領域的數字需求,在任務量巨大的極端情況下安全可靠。
