數(shù)字經(jīng)濟(jì)時代,數(shù)據(jù)已成為新的核心生產(chǎn)要素。特別是在航空航天、氣象科學(xué)、AI自動駕駛及生命科學(xué)等領(lǐng)域,數(shù)據(jù)呈現(xiàn)指數(shù)級增長,以數(shù)據(jù)密集型為典型特征的高性能數(shù)據(jù)分析(HPDA)開始出現(xiàn)。
深信服分布式存儲EDS不僅可以滿足計算密集型應(yīng)用性能需求,也解決了傳統(tǒng)存儲方案拓展性不足與成本過高的問題。
傳統(tǒng)存儲陣列采用專用硬件,拓展性欠佳,且硬件成本過重。在高性能計算場景下,傳統(tǒng)的存儲方案往往選擇采用支持RDMA協(xié)議的IB網(wǎng)絡(luò)降低網(wǎng)絡(luò)時延,而在HPDA這種數(shù)據(jù)密集型場景下,單一存儲集群節(jié)點數(shù)量往往可達(dá)到兩位數(shù)甚至更多,一臺Infiniband交換機(jī)的成本相當(dāng)于數(shù)臺存儲節(jié)點的硬件成本,在大規(guī)模交付的場景下,采用傳統(tǒng)的IB組網(wǎng)架構(gòu)需要付出更高的成本。
↑ HPDA應(yīng)用的高性能計算需求給存儲系統(tǒng)帶來挑戰(zhàn)
深信服EDS存儲架構(gòu)采用了run to complete和無鎖化編程模型,并優(yōu)化了各模塊之間的數(shù)據(jù)處理,實現(xiàn)系統(tǒng)內(nèi)全I(xiàn)O棧的內(nèi)存零拷貝,使整體性能得到了極大的提升。在關(guān)鍵的IO路徑上,EDS采用自研的存儲通信模塊,結(jié)合共享內(nèi)存來實現(xiàn)IO路徑上的數(shù)據(jù)零拷貝,減少內(nèi)存拷貝消耗,降低存儲IO時延。
全對稱分布式架構(gòu)
深信服分布式存儲EDS基于全對稱的分布式架構(gòu),單一分布式存儲集群可以橫向拓展至數(shù)千節(jié)點,單一系統(tǒng)容量可拓展至EB級別,實現(xiàn)系統(tǒng)性能與容量線性增長,并且隨著HPDA應(yīng)用數(shù)據(jù)規(guī)模增大,EDS平均每TB數(shù)據(jù)的存儲成本會越來越低。
↑ 隨著存儲系統(tǒng)容量增加,SDS系統(tǒng)性能線性增長的同時,每TB數(shù)據(jù)存儲成本逐漸降低
支持RDMA RoCEv2協(xié)議
為了追求IO時延與成本之間的平衡,深信服分布式存儲EDS創(chuàng)新性地選用RDMA RoCEv2網(wǎng)絡(luò),將存儲節(jié)點網(wǎng)絡(luò)使用RDMA 協(xié)議接入,實現(xiàn)低延遲極速網(wǎng)絡(luò)傳輸,有效降低存儲系統(tǒng)建設(shè)成本。
平均存儲IO時延在us級別
深信服EDS存儲架構(gòu)采用了run to complete和無鎖化編程模型,并優(yōu)化了各模塊之間的數(shù)據(jù)處理,實現(xiàn)系統(tǒng)內(nèi)全I(xiàn)O棧的內(nèi)存零拷貝,使整體性能得到了極大的提升。
↑ EDS關(guān)鍵IO流程示意圖
3節(jié)點通用2U服務(wù)器即可提供6GB/s+吞吐
結(jié)合RDMA協(xié)議與NVME SSD介質(zhì),EDS可以同時發(fā)揮NVME SSD的性能優(yōu)勢與RDMA技術(shù)的低時延優(yōu)勢。采用3臺aStor-EDS1250設(shè)備,每臺服務(wù)器配置2塊NVME SSD與通用硬盤,即可提供超過6GB/s的性能體驗。
深信服分布式存儲EDS采用通用硬件降低用戶存儲投入成本,再結(jié)合過硬的軟件實力激發(fā)通用硬件的性能,提高HPDA應(yīng)用數(shù)據(jù)存取效率,為用戶提供高性價比的存儲解決方案,助力產(chǎn)業(yè)穩(wěn)健發(fā)展。