今年8月，隨著原有數(shù)據(jù)庫(kù)被成功切換至金倉(cāng)分析型數(shù)據(jù)庫(kù)KADB，某直轄市健康碼平臺(tái)日志分析系統(tǒng)的無(wú)感升級(jí)工作全部順利完成。本次改造使得該系統(tǒng)總體性能得到大幅提升、數(shù)據(jù)服務(wù)的可用性顯著提高，進(jìn)一步筑牢疫情防控屏障。
TIPS：健康碼平臺(tái)日志分析系統(tǒng)用于記錄全市所有公共場(chǎng)所二維碼掃碼情況及對(duì)應(yīng)人員信息，并對(duì)以上基礎(chǔ)數(shù)據(jù)進(jìn)行分析生成流調(diào)數(shù)據(jù)，進(jìn)而為疫情發(fā)生時(shí)判定密接、次密接人員、時(shí)空密接者以及風(fēng)險(xiǎn)區(qū)域劃定提供準(zhǔn)確的數(shù)據(jù)支撐。
隨著該市疫情常態(tài)化防控的推進(jìn)，及社會(huì)經(jīng)濟(jì)活動(dòng)的持續(xù)復(fù)蘇，目前日均掃碼量超3000萬(wàn)次，累計(jì)掃碼數(shù)據(jù)數(shù)百億條，日志分析系統(tǒng)原有數(shù)據(jù)庫(kù)服務(wù)器CPU占用超過(guò)80%，已用存儲(chǔ)空間超60%，服務(wù)器長(zhǎng)期處于高負(fù)荷運(yùn)行狀態(tài)，數(shù)據(jù)庫(kù)系統(tǒng)的性能與穩(wěn)定性受到極大挑戰(zhàn)。
數(shù)據(jù)持續(xù)增長(zhǎng)
挑戰(zhàn)一：數(shù)據(jù)寫(xiě)入效率
在原數(shù)據(jù)庫(kù)系統(tǒng)上，每小時(shí)掃碼數(shù)據(jù)的平均寫(xiě)入耗時(shí)約為40分鐘，在此情況下，社會(huì)活動(dòng)高峰時(shí)段存在數(shù)據(jù)無(wú)法及時(shí)入庫(kù)的風(fēng)險(xiǎn)，從而導(dǎo)致數(shù)據(jù)積壓、日志分析業(yè)務(wù)時(shí)效性持續(xù)延后甚至雪崩的后果。
挑戰(zhàn)二：數(shù)據(jù)分析性能
疫情爆發(fā)2年多以來(lái)，隨著防控?cái)?shù)據(jù)的持續(xù)累積，相關(guān)數(shù)據(jù)已達(dá)數(shù)百億條，原數(shù)據(jù)庫(kù)的分析性能也隨著數(shù)據(jù)量的增長(zhǎng)不斷下降，其中最重要的某業(yè)務(wù)數(shù)據(jù)分析響應(yīng)時(shí)延超過(guò)2分鐘。因疫情風(fēng)險(xiǎn)結(jié)果數(shù)據(jù)的時(shí)效性直接影響傳播擴(kuò)散的范圍，原數(shù)據(jù)庫(kù)分析性能已經(jīng)無(wú)法滿(mǎn)足系統(tǒng)針對(duì)疫情風(fēng)險(xiǎn)防控的總體設(shè)計(jì)要求。
挑戰(zhàn)三：數(shù)據(jù)庫(kù)可用性
原數(shù)據(jù)庫(kù)從數(shù)據(jù)存儲(chǔ)到服務(wù)接入，各個(gè)層級(jí)均采用單點(diǎn)建設(shè)模式。當(dāng)前系統(tǒng)持續(xù)高負(fù)荷運(yùn)轉(zhuǎn)，數(shù)據(jù)可靠性、服務(wù)連續(xù)性受到極大挑戰(zhàn)，數(shù)據(jù)庫(kù)部署架構(gòu)亟需進(jìn)行高可用加固。
KADB全面提升系統(tǒng)性能與可用性
熱數(shù)據(jù)緩存加速
針對(duì)健康碼平臺(tái)日志分析系統(tǒng)歷史留存數(shù)據(jù)量大、實(shí)時(shí)數(shù)據(jù)持續(xù)寫(xiě)入負(fù)載高的特點(diǎn)，本次部署的KADB采用了冷熱數(shù)據(jù)分離存儲(chǔ)的架構(gòu)，數(shù)據(jù)寫(xiě)入性能整體提升3倍。
歷史數(shù)據(jù)采取列存并進(jìn)行壓縮的方式進(jìn)行存儲(chǔ)，以支撐海量數(shù)據(jù)少列查詢(xún)的場(chǎng)景下快速響應(yīng)。歷史冷數(shù)據(jù)的壓縮比達(dá)12:1以上，顯著提升集群整體的數(shù)據(jù)容量。
實(shí)時(shí)數(shù)據(jù)采取行存的方式以提高數(shù)據(jù)導(dǎo)入速度和實(shí)時(shí)查詢(xún)效率，同時(shí)通過(guò)熱數(shù)據(jù)緩存技術(shù)實(shí)現(xiàn)數(shù)據(jù)快速加載，本系統(tǒng)單小時(shí)場(chǎng)所碼掃碼數(shù)據(jù)加載耗時(shí)由原來(lái)的40分鐘縮短至15分鐘以?xún)?nèi)。通過(guò)配置熱數(shù)據(jù)生命周期相關(guān)參數(shù)，數(shù)據(jù)庫(kù)支持對(duì)冷熱階段的數(shù)據(jù)進(jìn)行存儲(chǔ)方式的自動(dòng)轉(zhuǎn)換。
全并行計(jì)算
KADB基于多物理節(jié)點(diǎn)、節(jié)點(diǎn)內(nèi)多虛擬實(shí)例、CPU眾核多線(xiàn)程以及指令向量化執(zhí)行四級(jí)全并行計(jì)算，實(shí)現(xiàn)了一套高效能的分布式引擎。結(jié)合百節(jié)點(diǎn)以上超大規(guī)模部署、并行CBO優(yōu)化器、流水線(xiàn)執(zhí)行引擎、數(shù)據(jù)高效壓縮技術(shù)、熱數(shù)據(jù)高速緩存等10大技術(shù)特性，充分利用集群中各節(jié)點(diǎn)資源，發(fā)揮并行計(jì)算的極致性能。在該直轄市健康碼平臺(tái)日志分析系統(tǒng)中，流調(diào)信息相關(guān)分析業(yè)務(wù)平均響應(yīng)時(shí)延由150秒降至40秒以?xún)?nèi)，總體查詢(xún)分析效率提升6倍以上。
高可用部署
KADB數(shù)據(jù)庫(kù)支持全棧高可用部署，所有組件無(wú)單點(diǎn)故障，所有數(shù)據(jù)均提供副本存儲(chǔ)，從架構(gòu)整體上確保數(shù)據(jù)不丟失、服務(wù)持續(xù)可用。
本次在數(shù)據(jù)存儲(chǔ)層采用了雙副本架構(gòu)，即每個(gè)數(shù)據(jù)分片都有一份實(shí)時(shí)一致的熱備副本，主副本故障后熱備副本即刻拉起，可在數(shù)據(jù)節(jié)點(diǎn)宕機(jī)數(shù)量不超過(guò)半數(shù)時(shí)持續(xù)提供服務(wù)。此外，在數(shù)據(jù)訪(fǎng)問(wèn)層也部署了主備管理節(jié)點(diǎn)，支持節(jié)點(diǎn)故障的秒級(jí)無(wú)感切換，進(jìn)一步確保數(shù)據(jù)庫(kù)服務(wù)持續(xù)可用。
隨著各地常態(tài)化防控的深入推進(jìn)，面對(duì)突發(fā)疫情的發(fā)現(xiàn)、響應(yīng)、分析與處置越來(lái)越科學(xué)、迅速、有效。在這其中，基于海量數(shù)據(jù)的健康碼大數(shù)據(jù)平臺(tái)發(fā)揮了巨大作用。人大金倉(cāng)作為數(shù)據(jù)庫(kù)領(lǐng)域的國(guó)家隊(duì)，已先后在多個(gè)省級(jí)健康碼平臺(tái)完成了數(shù)據(jù)實(shí)時(shí)災(zāi)備方案的落地實(shí)施及流調(diào)分析等系統(tǒng)的數(shù)據(jù)庫(kù)升級(jí)。
在未來(lái)，人大金倉(cāng)將繼續(xù)勇?lián)姑詳?shù)字化支撐精準(zhǔn)防控、助力科技戰(zhàn)“疫”。
