金庸大俠筆下的武俠世界之所以令人向往,
不僅在于俠客們的快意恩仇,
更在于精彩又不失嚴(yán)謹(jǐn)?shù)奈鋵W(xué)架構(gòu),
掌握一部武學(xué)秘籍往往意味著獨(dú)步武林,
而在存儲(chǔ)界,
一部“武學(xué)奧義”同樣暗藏于
深信服企業(yè)級分布式存儲(chǔ)EDS最新版本!
●第一式:“外功”強(qiáng)健體魄 ●
——二副本、三副本靈活定義可靠性
所謂內(nèi)練一股氣,外練筋骨皮,
具備一身強(qiáng)勁的“外功”,
在面對不同的外部情況時(shí)都能應(yīng)對自如。
對一套存儲(chǔ)的可靠性而言,
能夠承載故障發(fā)生很重要,
對不同需求進(jìn)行靈活適配同樣重要。
目前市面上的多數(shù)存儲(chǔ)直接為用戶配置了三副本策略,以保障業(yè)務(wù)的高效運(yùn)轉(zhuǎn)以及故障發(fā)生時(shí)業(yè)務(wù)的連續(xù),但是三副本意味著要花費(fèi)更高的成本。新版本EDS從用戶的實(shí)際需求出發(fā),為用戶提供更靈活的選擇。
首先,以LUN為粒度配置副本數(shù)和性能優(yōu)先級策略,可以選擇為核心業(yè)務(wù)配置3副本高性能策略,非核心業(yè)務(wù)配置2副本低性能策略,實(shí)現(xiàn)按照業(yè)務(wù)需求靈活配置存儲(chǔ)能力。其次,新版本EDS通過塊存儲(chǔ)三副本機(jī)制,將三份副本數(shù)據(jù)互斥分布在多個(gè)存儲(chǔ)節(jié)點(diǎn)上,當(dāng)節(jié)點(diǎn)發(fā)生故障時(shí),可將業(yè)務(wù)連接快速切換到正常節(jié)點(diǎn)進(jìn)行讀寫,保障業(yè)務(wù)的連續(xù)性。
根據(jù)業(yè)務(wù)需求靈活配置副本
三副本可容納任意2節(jié)點(diǎn)故障,但會(huì)占3倍于業(yè)務(wù)數(shù)據(jù)量的存儲(chǔ)空間,2副本只會(huì)占2倍存儲(chǔ)空間,但最大只能容任意1節(jié)點(diǎn)故障,新版本EDS支持按照LUN配置副本數(shù),用戶可根據(jù)業(yè)務(wù)的重要性配置,實(shí)現(xiàn)業(yè)務(wù)可靠性和容量利用率的均衡。同時(shí)用戶不必花費(fèi)高昂的成本全部配置三副本,根據(jù)業(yè)務(wù)自主選擇即可。
●第二式:“內(nèi)功”自行療傷 ●
——硬盤壞道主動(dòng)預(yù)測掃描及修復(fù)
如果說靈活定義可靠性相當(dāng)于強(qiáng)化“外功”,
那么提升自我恢復(fù)能力則等于修煉“內(nèi)功”。
對于存儲(chǔ)硬盤而言,
那些處在“隱秘的角落”的壞道,
讓業(yè)務(wù)數(shù)據(jù)在單副本狀態(tài)下長期“裸奔”。
最好的防御就是主動(dòng)出擊,
放在新版本EDS再適合不過。
當(dāng)硬盤出現(xiàn)壞道時(shí)一般不容易被發(fā)現(xiàn),只有當(dāng)客戶端訪問到壞道的數(shù)據(jù)且無法進(jìn)行訪問時(shí),壞道才會(huì)被發(fā)現(xiàn)。新版本EDS對硬盤進(jìn)行了全方位保護(hù),結(jié)合AI算法模型,推出了硬盤壞道預(yù)測、掃描修復(fù)及SSD壽命預(yù)測等一系列功能。
首先,通過硬盤壞道預(yù)測收集分析大量壞道硬盤的SMART數(shù)據(jù)、性能參數(shù)與日志信息,結(jié)合算法訓(xùn)練模型,可以預(yù)測出硬盤在未來7天內(nèi)是否會(huì)出現(xiàn)壞道。其次,定時(shí)壞道掃描及修復(fù)可主動(dòng)壞道掃描可及時(shí)發(fā)現(xiàn)潛藏的壞道,并利用壞道數(shù)據(jù)的另外一個(gè)副本將數(shù)據(jù)修復(fù)至硬盤保留扇區(qū)。最后SSD壽命預(yù)測,通過硬盤Smart信息以及硬盤的寫入量分析,結(jié)合算法訓(xùn)練模型,預(yù)測出SSD的剩余可用時(shí)間。
硬盤壞道主動(dòng)掃描及修復(fù)
通過壞道預(yù)測,壞道掃描和壞道修復(fù)形成壞道處理閉環(huán),使硬盤壞道被發(fā)現(xiàn)的時(shí)長從原來的一個(gè)月縮短至一天,并完成修復(fù),最大程度規(guī)避數(shù)據(jù)長期單副本的風(fēng)險(xiǎn)。(實(shí)際環(huán)境的測試數(shù)據(jù),預(yù)測準(zhǔn)確率高達(dá)95%以上)。通過SSD壽命預(yù)測,用戶可體檢對于壽命不足的SSD提前進(jìn)行更換準(zhǔn)備,避免硬盤損壞造成的業(yè)務(wù)宕機(jī)。
●第三式:“招式”唯快不破 ●
——億級文件、對象秒級檢索
有道是“天下武功,唯快不破”,
除了“內(nèi)功”與“外功”之外,
快速的“招式”修煉同樣重要,
目的便是以最高效的方式解決問題。
想要在大數(shù)據(jù)時(shí)代“乘風(fēng)破浪”,
數(shù)據(jù)檢索的速率起碼要足夠快。
為了幫助用戶更高效地完成海量數(shù)據(jù)的快速檢索及調(diào)用,新版本EDS為數(shù)據(jù)建立了單獨(dú)的快速索引結(jié)構(gòu),使得數(shù)據(jù)能夠在十億級別文件規(guī)模下秒級快速檢索。
十億級別文件規(guī)模下秒級快速檢索
采用這種將“搜索框”搬到了存儲(chǔ)里面的方式,上億的文件只需要輸入關(guān)鍵詞,即可秒級搜索出來想要查找的文件。2億海量文件檢索實(shí)測僅需1.8秒。文件檢索效率的提升也降低了用戶的管理成本。
●第四式:“心性”堅(jiān)如磐石 ●
——億級小文件承載能力
武學(xué)之集大成者,
無不胸襟寬廣,心志堅(jiān)定,
面對再大的壓力及挑戰(zhàn)依然能夠
泰然自若,巋然不動(dòng)。
海量小文件的穩(wěn)定承載能力,
是數(shù)字時(shí)代存儲(chǔ)所要具備的重要素質(zhì)之一。
EDS利用自主研發(fā)的分布式數(shù)據(jù)庫PhxKV,承載分布式NAS文件系統(tǒng)元數(shù)據(jù),使得元數(shù)據(jù)系統(tǒng)在訪問的時(shí)延更低,以及在壞塊修復(fù)的時(shí)候不阻塞前端業(yè)務(wù),而且修復(fù)速度極快。小文件可實(shí)現(xiàn)寫入即合并,使得存儲(chǔ)內(nèi)部不存在任何的碎片文件,保證機(jī)械盤數(shù)據(jù)的正常業(yè)務(wù)讀寫訪問以及數(shù)據(jù)重構(gòu)讀寫等等能夠性能不下降,數(shù)據(jù)重構(gòu)每TB所需時(shí)間小于30mins。
相較于主機(jī)文件系統(tǒng)或磁盤陣列NAS存儲(chǔ),單文件系統(tǒng)支持的文件處理從千萬級提升到億級別。用戶通過軟件即可實(shí)現(xiàn)高性能的文件處理需求,不需要支出高昂的成本來購買硬件。
要想真正做到獨(dú)步武林,
需要兼?zhèn)鋸?qiáng)勁的外功,深厚的內(nèi)功,
這些素質(zhì)缺一不可。
深信服新版本EDS向外強(qiáng)化“容障能力”,
向內(nèi)錘煉“修復(fù)能力”,
拔高文件檢索速率,
并強(qiáng)化海量小文件承載能力,
真正做到“內(nèi)外兼修”。
在原有的高性能,高可靠,智能管理等特性的基礎(chǔ)上,新版本EDS進(jìn)一步升級,靈活定義可靠性,硬盤壞而可查,檢索快速便捷,性能穩(wěn)定,為用戶打造更安全、更高效的存儲(chǔ)服務(wù)。