對(duì)于數(shù)據(jù)管理,也許很多人都存在一個(gè)認(rèn)知誤區(qū),認(rèn)為數(shù)據(jù)管理即是“將數(shù)據(jù)保存起來(lái)”。如果想要更好地挖掘數(shù)據(jù)價(jià)值,僅僅做到存放是遠(yuǎn)遠(yuǎn)不夠的,需要涵蓋數(shù)據(jù)的上收、分層管理、檢索調(diào)用、歸檔存放全流程,即實(shí)現(xiàn)數(shù)據(jù)的“全生命周期管理”。
作為面向下一代數(shù)據(jù)中心設(shè)計(jì)的存儲(chǔ)產(chǎn)品,深信服分布式存儲(chǔ)EDS要解決的問(wèn)題不僅局限于存儲(chǔ)的“存”,而是圍繞著業(yè)務(wù)數(shù)據(jù)的“匯、存、管、用”提供數(shù)據(jù)全生命周期管理解決方案,幫助用戶更高效、更輕松的應(yīng)對(duì)海量數(shù)據(jù)的管理挑戰(zhàn),激發(fā)數(shù)據(jù)價(jià)值。
從整體來(lái)看,EDS數(shù)據(jù)管理解決方案可以分為“數(shù)據(jù)匯集”和“數(shù)據(jù)管理”兩大部分。
數(shù)據(jù)匯集:安全與效率并駕齊驅(qū)
數(shù)據(jù)從“出生”到數(shù)據(jù)中心,再到內(nèi)部的數(shù)據(jù)遷移,我們將其統(tǒng)稱為“數(shù)據(jù)的流動(dòng)”,而在數(shù)字化時(shí)代,這一流動(dòng)的過(guò)程既需要保障安全性,也要保障高效性。
1、上收:終端數(shù)據(jù)統(tǒng)一匯聚,自動(dòng)化采集
當(dāng)前很多擁有分支機(jī)構(gòu)或子公司的用戶存在數(shù)據(jù)采集的需求,目前主流的做法是通過(guò)定期U盤(pán)郵寄、IM軟件發(fā)送、郵箱附件發(fā)送等方式,這些方式存在上收效率低、數(shù)據(jù)泄漏風(fēng)險(xiǎn)大等明顯缺陷。
深信服EDS提供aDMT客戶端工具,可實(shí)現(xiàn)終端數(shù)據(jù)自動(dòng)采集,安全上收至統(tǒng)一的存儲(chǔ)資源池內(nèi),有效解決邊緣/分支數(shù)據(jù)上收難、安全性差的問(wèn)題。
根據(jù)所配置固定的時(shí)間間隔,自動(dòng)識(shí)別所選定的文件目錄中該時(shí)間段內(nèi)增量數(shù)據(jù)和發(fā)起數(shù)據(jù)上收傳輸;
傳輸過(guò)程采用https加密協(xié)議,保證數(shù)據(jù)的安全性;
傳輸過(guò)程支持?jǐn)帱c(diǎn)續(xù)傳,保證傳輸?shù)臅r(shí)效性;
傳輸完成后支持靈活配置策略,可選擇繼續(xù)保留或刪除已傳輸?shù)臄?shù)據(jù)。
2、遷移:面向多類型業(yè)務(wù)數(shù)據(jù)提供遷移方案
除了數(shù)據(jù)收集以外,上收后的數(shù)據(jù)由于業(yè)務(wù)場(chǎng)景變更或者設(shè)備更替,還將面臨復(fù)雜的遷移工作,由于業(yè)務(wù)數(shù)據(jù)量較大,手動(dòng)遷移往往效率低且面臨較大風(fēng)險(xiǎn)。EDS提供面向多種業(yè)務(wù)場(chǎng)景的數(shù)據(jù)遷移方案或服務(wù),實(shí)現(xiàn)數(shù)據(jù)的高效自動(dòng)遷移。
比如虛擬機(jī)數(shù)據(jù)熱遷移方案、數(shù)據(jù)庫(kù)遷移服務(wù)等,在共享文件數(shù)據(jù)遷移上,深信服EDS提供基于文件同步管理(File Sync Management,簡(jiǎn)稱FSM)軟件實(shí)現(xiàn)的數(shù)據(jù)自動(dòng)化遷移方案,使用戶存儲(chǔ)在老舊存儲(chǔ)設(shè)備、物理服務(wù)器上的數(shù)據(jù)可以高效遷移到由EDS組建的存儲(chǔ)資源池中。
數(shù)據(jù)管理:多重策略的全面覆蓋
相較于初期的數(shù)據(jù)收集,數(shù)據(jù)后期的管理會(huì)涉及更多的挑戰(zhàn),如何存?怎樣管?怎么用?……深信服EDS為數(shù)據(jù)管理提供豐富的策略,對(duì)分層存儲(chǔ)、自動(dòng)歸檔、版本處理、快速檢索、統(tǒng)一管理、數(shù)據(jù)互訪等方面進(jìn)行了全方位的覆蓋。
1、多級(jí)存儲(chǔ):降低海量數(shù)據(jù)歸檔成本
就好比我們的個(gè)人衣柜,衣服雖多,但是不同時(shí)段需要經(jīng)常穿的就那么幾件。日常的穿著衣物我們會(huì)掛在最便于拿取的位置,不合時(shí)令的衣物則往往被存放在收納箱,對(duì)于數(shù)據(jù)存儲(chǔ)同樣如此。在數(shù)據(jù)的生命周期中,不同階段對(duì)數(shù)據(jù)存儲(chǔ)的性能、可用性、成本要求也不一樣,所以數(shù)據(jù)存儲(chǔ)方案應(yīng)遵守以下原則:
1、初期產(chǎn)生:在數(shù)據(jù)產(chǎn)生初期,數(shù)據(jù)訪問(wèn)頻率高,數(shù)據(jù)量較小,需提供高性能存儲(chǔ)方案,并確保數(shù)據(jù)具備高可用性;
2、中期管理:隨著時(shí)間推移,數(shù)據(jù)的訪問(wèn)頻率和價(jià)值下降,需提供不同級(jí)別的存儲(chǔ)方案,為數(shù)據(jù)提供適當(dāng)?shù)男阅芎涂苫謴?fù)性;
3、后期處理:最終大部分?jǐn)?shù)據(jù)不會(huì)被使用,需要進(jìn)行刪除或歸檔(部分行業(yè)數(shù)據(jù)有相關(guān)要求,需要半永久或永久保存)。
因此,EDS根據(jù)以上基本原理區(qū)分存儲(chǔ)軟件、硬件和介質(zhì)的配置,劃分出高性能生產(chǎn)型存儲(chǔ)、標(biāo)準(zhǔn)生產(chǎn)型存儲(chǔ)、低頻訪問(wèn)存儲(chǔ)和冷歸檔型存儲(chǔ),各自特點(diǎn)如下:
高性能生產(chǎn)型存儲(chǔ):承載需要實(shí)時(shí)高速訪問(wèn)數(shù)據(jù)的業(yè)務(wù)系統(tǒng),如大型數(shù)據(jù)庫(kù)、廣電視頻制作、航測(cè)建模等,可提供單虛擬磁盤(pán)5萬(wàn)+IOPS或單目錄GB級(jí)吞吐能力;
標(biāo)準(zhǔn)生產(chǎn)型存儲(chǔ):承載普通業(yè)務(wù)系統(tǒng)、日常文件共享等數(shù)據(jù),提供單虛擬磁盤(pán)1萬(wàn)+IOPS或單目錄300MB級(jí)吞吐能力;
低頻訪問(wèn)型存儲(chǔ):承載低頻訪問(wèn)的業(yè)務(wù)歸檔數(shù)據(jù),存儲(chǔ)成本更低;
冷歸檔型存儲(chǔ):承載因相關(guān)法規(guī)要求需要半永久或永久保存的業(yè)務(wù)數(shù)據(jù),長(zhǎng)期保存成本最低。
根據(jù)實(shí)際數(shù)據(jù)情況選擇對(duì)應(yīng)的分級(jí)配置,可大幅降低海量數(shù)據(jù)存儲(chǔ)成本。
2、歸檔:數(shù)據(jù)自動(dòng)歸檔到多類型歸檔存儲(chǔ)
由于業(yè)務(wù)發(fā)展需要,數(shù)據(jù)上云已經(jīng)成為眾多企業(yè)級(jí)用戶的必然選擇,然而這一過(guò)程并不是一成不變的,數(shù)據(jù)需要面臨頻繁的歸檔和回遷,用戶也面臨高頻率的歸檔操作。深信服EDS提供基于FSM軟件實(shí)現(xiàn)的數(shù)據(jù)自動(dòng)化歸檔方案,可以輕松將保留在EDS生產(chǎn)存儲(chǔ)資源池的數(shù)據(jù)庫(kù)歸檔到公有云、EDS歸檔資源池、其它存儲(chǔ)介質(zhì)等,方案特點(diǎn)如下:
源端支持NAS存儲(chǔ),目的端支持NAS及S3,支持歸檔上云;
歸檔策略支持手動(dòng)觸發(fā),也支持自動(dòng)策略,支持分鐘級(jí)觸發(fā)自動(dòng)掃描發(fā)現(xiàn)源端的增量數(shù)據(jù),歸檔至目的端存儲(chǔ)上;
對(duì)于歸檔數(shù)據(jù)的訪問(wèn),支持應(yīng)用直接掛載歸檔目錄,或?qū)w檔數(shù)據(jù)遷回源端存儲(chǔ)進(jìn)行訪問(wèn)。
3、檢索:數(shù)據(jù)秒級(jí)檢索
與常規(guī)意義上的檢索不同,當(dāng)數(shù)據(jù)量達(dá)到上億規(guī)模時(shí),將會(huì)涉及更多的元數(shù)據(jù),檢索會(huì)變得異常困難。為了解決海量文件規(guī)模下傳統(tǒng)檢索方案數(shù)據(jù)檢索慢的問(wèn)題,深信服EDS通過(guò)內(nèi)置數(shù)據(jù)檢索引擎,使得用戶可以直接在EDS平臺(tái)上直接對(duì)文件存儲(chǔ)及對(duì)象存儲(chǔ)內(nèi)的數(shù)據(jù)文件進(jìn)行檢索,全面提升檢索效率。
EDS對(duì)文件和對(duì)象元數(shù)據(jù)建立索引信息,存放在EDS自研的分布式PhxKV元數(shù)據(jù)中心;
快速檢索,十億級(jí)別文件和對(duì)象規(guī)模,能夠在秒(s)級(jí)別快速檢索出數(shù)據(jù)所在位置;
支持通過(guò)文件名前綴直接在存儲(chǔ)上進(jìn)行檢索。
4、訪問(wèn):多協(xié)議數(shù)據(jù)互訪,提升數(shù)據(jù)應(yīng)用效率
隨著Hadoop大數(shù)據(jù)應(yīng)用被廣泛采用,“大數(shù)據(jù)+AI”已經(jīng)成為數(shù)據(jù)處理的新方向,而當(dāng)前存在多種數(shù)據(jù)處理工具對(duì)于接口的要求不一致的問(wèn)題,EDS分布式存儲(chǔ)支持HDFS/ CIFS/FTP/ NFS多協(xié)議間數(shù)據(jù)互訪,能夠跨平臺(tái)構(gòu)建業(yè)務(wù)處理管線,讓數(shù)據(jù)少跑腿,提升數(shù)據(jù)應(yīng)用效率的同時(shí),也減少了數(shù)據(jù)的空間占用,降低綜合成本。
5、刪除:數(shù)據(jù)多版本管理及過(guò)期自動(dòng)刪除
數(shù)據(jù)量的迸發(fā)和過(guò)長(zhǎng)的時(shí)間跨度,會(huì)造成數(shù)據(jù)文件重復(fù)和版本眾多,企業(yè)級(jí)數(shù)據(jù)更是如此。即難以區(qū)分哪些是無(wú)效數(shù)據(jù),一刀切式的刪除策略很容易造成誤刪。擠占空間且難以管理。針對(duì)以上問(wèn)題,EDS對(duì)象存儲(chǔ)提供數(shù)據(jù)多版本保護(hù)及過(guò)期刪除策略。
開(kāi)啟多版本保護(hù)后,若數(shù)據(jù)產(chǎn)生后發(fā)生多次更改,在存儲(chǔ)中仍保留多個(gè)版本,便于數(shù)據(jù)回溯;
結(jié)合數(shù)據(jù)過(guò)期刪除策略,可靈活針對(duì)舊版本的數(shù)據(jù)和當(dāng)前版本的數(shù)據(jù)分別設(shè)置是否超過(guò)規(guī)定天數(shù),定期進(jìn)行刪除,釋放存儲(chǔ)空間。
6、可視化:提供面向終端用戶的對(duì)象數(shù)據(jù)管理平臺(tái)
相比于以前存儲(chǔ)產(chǎn)品的內(nèi)部不可知,用戶當(dāng)下更需要對(duì)數(shù)據(jù)存儲(chǔ)狀態(tài)有一個(gè)更清晰的掌握,以便做出下一步的業(yè)務(wù)決策。基于這一洞察,深信服EDS提供aDMT圖形化Web應(yīng)用程序,以便更輕松地訪問(wèn)和管理數(shù)據(jù)存儲(chǔ)。
無(wú)需單獨(dú)下載軟件或工具進(jìn)行安裝部署,最終用戶可以直接通過(guò) Web瀏覽器,可以輕松登錄和可視化地管理對(duì)象存儲(chǔ)中的文件數(shù)據(jù);
支持用戶自行完成桶管理和文件管理(上傳、下載、刪除)等操作;
支持全局文件檢索,快速找到用戶所需的文件。
從數(shù)據(jù)的收集匯聚、到數(shù)據(jù)的分級(jí)存儲(chǔ),再到豐富的管理策略,EDS通過(guò)完善的數(shù)據(jù)統(tǒng)一管理策略,為用戶的業(yè)務(wù)提供堅(jiān)實(shí)的數(shù)據(jù)保障。同時(shí),EDS也秉持著為用戶數(shù)據(jù)負(fù)責(zé)的態(tài)度,致力于為用戶的數(shù)據(jù)價(jià)值挖掘打造最堅(jiān)實(shí)的存儲(chǔ)基石。
