非結構化數據遍布于各行各業,這類數據在醫療、安防監控、政務、金融等行業中尤為明顯,他們都有著海量的非結構化數據。同時,非結構化數據正以60%增長趨勢逐年遞增。毫無疑問,這一增長趨勢對企業如何更好的管理好PB級數據提出了嚴峻挑戰。
存儲系統中數據的變化:以結構化為主的數據,正在向非結構化數據等混合型數據進行大量的轉變。據IDC(天風證券,2020)預測,到2025年我國數據將達48.6ZB(18年至25年復合增速超過30%),其中80%為非結構化數據(XML、圖像、聲音、超媒體等信息)。
存儲系統中規模的變化:在大數據、5G、云計算等新一代信息技術的催化下,企業需要應對PB級(1PB=1024TB)容量的數據存儲需求,延續使用集中存儲的方式,在單一存儲節點上scale-up。不僅會對存儲系統的性能造成影響,同時會受限于物理介質、傳輸媒介及TCO成本等因素,最終造成容量上的局限性,很顯然縱向擴展的形式并不適應于現代化的企業級存儲需求。
為了更加適應動態變化的應用場景,出現了去中心化Ceph的分布式存儲架構,它是由MON、OSD、MDS與RADOS等核心組件構成。與HDFS相比之下,沒有通過NameNode元數據尋址的方式,而是通過一種CRUSH算法,通過兩次映射計算數據存儲位置來確定如何存儲和檢索數據。CRUSH 使用戶端能直接與OSDs進行通信,且并行讀寫速度更高。
去中心化Ceph存儲系統架構,特別是在支持塊存儲特性上,可以使數據具有較強的一致性,Ceph可使用任何一個運行在該存儲節點上的OSD獲取數據信息,相對于Swift及HDFS來說更加靈活。以Ceph分布式存儲架構為代表的柏科數據ISCloud分布式存儲系統,一方面通過CRUSH算法實現了存儲單元間的數據重新分布及智能交互。另一方面scale-out的擴張形式,突破了規模化擴張造成的性能瓶頸。
在安防監控的應用場景下,數據存儲經歷了幾個階段,逐步從DVR存儲過渡到網絡前端加網絡存儲階段。隨著網絡帶寬的提高,高清應用的普及,對安防存儲系統的容量和數據安全提出了更高的要求。柏科數據ISCloud分布式存儲系統在面對監控業務海量非結構化數據存儲方面,相比于傳統安防類存儲具有天然的優勢,也便于與其他調用平臺結合,將為視頻監控行業帶來存儲架構和安全性上全面的升級變更。
實現性能提升&保障業務連續性:
? 將業務系統遷移至ISCloud分布式存儲系統,解決了存儲節點單點故障的問題,使其業務不中斷;
? 提升節點間訪問能力,以保證數據的寫入讀取和各節點之間數據交互的穩定性及一致性。
實現多重數據保護:
? 結合ISCloud分布式存儲系統應用層數據保護策略(副本冗
余技術或糾刪技術等),采取糾刪N+2的數據保護方式,對數據進行冗余保護措施;