隨著技術的進步和時代的發展,企業級數據中心的數據量呈現出了爆發式的增長。數據的快速產生和各項配套政策的落實推動我國大數據行業高速發展,預計未來我國行業大數據市場規模增速將維持在15%-25%之間,到2025年中國大數據產業規模將達19508億元的高點。這意味著,中國和世界早已進入大數據時代。
在大數據時代,海量的數據給ICT行業帶來了全新的挑戰,如何存儲、管理和利用這些數據,如何借助規劃有效的降低TCO,如何縮短開發周期從而保證業務系統快速上線等問題,傳統的SAN和NAS 架構已經不能有效的應對這些行業的難題。
企業建設之初,數據規模較小,企業往往采用NAS存儲非結構化數據,不同部門員工每時每刻都在訪問文件系統,當有大量文件同時上傳下載,易造成網絡阻塞,NAS系統的流暢性將受到影響。隨著數據大集中、數據挖掘、商業智能、協同作業等技術的成熟,數據價值呈指數上升。各種規模的企業均為數據量的高速增長帶來的管理和成本問題而困擾,同時NAS存儲也面臨著無法支撐大數據智能的業務需求。面對海量的非結構化數據,對象存儲應運而生。
杉巖對象存儲面向海量非結構化數據存儲的應用場景,可提供安全、可靠和高性能的對象存儲服務,杉巖對象存儲系統采用扁平化的文件組織結構,有效解決了傳統樹形文件目錄處理海量文件的難題,提供一套REST API接口供開發使用,無需關注底層原理,能夠幫助客戶完成業務系統的快速開發和上線。但是客戶使用的存儲種類繁多,運維管理不便,增加了運維的復雜度和運維成本;企業啟動針對NAS老舊存儲的整理優化已經勢在必行,從而實現存儲設備的資源整合。
在企業用戶從使用傳統的文件存儲到使用對象存儲的應用改造過程中,主要有以下幾個步驟:業務系統代碼改造 > 數據遷移 > 數據校驗 > 業務系統停機升級 > 增量數據遷移與校驗 > 正式上線。上述過程中,工作量最大的往往不是業務系統的代碼改造,而在于數據的遷移與校驗。在數據遷移的過程中,涉及到數據的傳輸,文件數量及內容的校驗,每一項工作都會消耗大量的時間與人力,為業務的割接上線帶來了許多阻力。
杉巖對象存儲在滿足海量非結構化數據存儲需求的同時, 通過支持NAS異構功能徹底解決了上述難題。通過將原有NAS的元數據進行納管,將NAS數據轉換為對象形成統一命名空間,業務切換時無需進行大量的數據遷移,即可同時訪問對象存儲及NAS中原有的數據;另外,在該架構下,若需要將NAS中的數據遷移至對象存儲,數據遷移操作可在后臺異步進行,遷移動作對業務無感知。
圖1 NAS異構功能示意圖
快速納管:3 個節點的對象存儲集群,對 1000 萬個文件進行納管只需要 9分鐘,并且無需考慮文件大小。相比之下,使用傳統方式遷移 1000 萬個 16KB 大小的文件,需要 12 個小時左右的時間,若文件增大,遷移時間將更長;另外,在節點數更多的情況下,納管時間會更短。根據現有的客戶實踐,NAS 納管技術能夠將整個業務系統改造、上線的時間周期縮短50%以上。
自動遷移:利用生命周期轉移功能自動遷移數據,無需人為干預,大大減少人力成本,遷移過程完全透明,用戶無感知。
利舊存儲:整合異構存儲資源,空間最大化利用,提高資源利用率,避免存儲資源浪費,從而降低采購成本,提高投資回報率。
簡化管理:納管完成后,使用對象存儲接口訪問時,新寫的對象直接存放在對象存儲中,應用可以統一使用S3接口,同時訪問對象存儲及NAS中原有存儲的數,從而降低數據管理的復雜度。
杉巖對象存儲NAS異構技術,其核心是納管NAS設備的元數據,形成統一的對象命名空間,無需立即觸發數據內容搬遷,應用統一使用S3接口即可訪問NAS和MOS的數據,通過生命周期轉移策略,可以后期平滑遷移NAS文件到SandStone MOS,數據內容搬遷過程中無需停機,業務切割時間窗極短,實現業務系統的快速切換與上線。