數字化時代下,大數據平臺已成為組織重要的基礎設施,存儲著眾多核心業務數據。為更好地保障大數據平臺海量數據安全,愛數于9月2日成功舉辦以“不止于快”為主題的大數據平臺保護方案神盾會(二),愛數方案專家、技術專家以及生態合作伙伴齊聚一堂,共同探討大數據平臺保護方案及技術實現手段,以助力各行業客戶實現大數據平臺高效、經濟、安全、全面的數據保護。
數多無策:大數據平臺保護亟需新方案
大數據平臺逐漸成為組織中的核心業務系統,承載著關鍵業務的運行,如金融行業的“千人千面”、醫療行業通過大數據分析實現疫情的精準防控等。一旦大數據平臺宕機,組織中諸多核心業務將無法開展,造成的損失巨大。因此,大數據平臺保護將成為每個行業IT建設中的重中之重。
然而,作為現代化的工作負載,大數據平臺由于數據量多、節點多、組件多等特點,導致其保護之路道阻且長:
PB 級數據,如何在有限的備份窗口內完成備份
海量大數據備份副本長時間保留,如何降低成本?
如何確保備份數據的安全存儲與合規保留?
如何實現精準備份和異構版本兼容?
不止于快:AnyBackup大數據平臺保護方案
基于大數據平臺保護的各種挑戰,愛數AnyBackup推出了大數據平臺保護方案,憑借重復數據刪除、永久增量、多節點并發備份恢復、表粒度備份恢復、數據一致性保障等多種技術的加持,AnyBackup可為PB級、百節點集群規模的大數據平臺提供更高效、更經濟、更安全、更全面的保護。
更高效:AnyBackup提供永久增量備份,相比于傳統方案,備份效率提升 96 倍以上;
更經濟:結合重復數據刪除&永久增量備份,備份存儲資源可節約 90%;
更安全:憑借不可變存儲技術,實現備份數據防篡改,加固了勒索病毒的最后一道防線,在數據安全存儲的基礎上,AnyBackup還支持基于磁帶、云存儲等多種介質的歸檔方式,符合合規性需求;
更全面: AnyBackup也充分考慮到大數據平臺生態的豐富性,能夠全面兼容主流大數據平臺及其組件,并支持異構版本之間的數據恢復。
技術解碼:AnyBackup大數據平臺保護方案實現原理
結合IDC發布的中國大數據平臺市場份額報告,以及Gartner 發布的Hadoop 發行版市場指南中的供應商介紹,可以發現,Hadoop 已經成為當前國內使用最廣泛的大數據平臺。
Hadoop生態體系是以Hadoop作為平臺的應用框架,框架中各應用組件相互兼容,組成的一個獨立的應用體系。其中,HDFS 和 MapReduce是其基礎核心,而Hive和HBase則是最重要且使用最廣泛的應用組件。
基于此,AnyBackup大數據平臺保護方案中,最為核心的一個版塊便是面向 Hadoop的HDFS、Hive和HBase來提供數據保護。
AnyBackup HDFS數據保護方案
HDFS 作為分布式文件系統,承擔了存儲Hadoop 的海量數據的任務。由于節點多、數據量多、數據種類多、價值密度低等特點,HDFS保護往往存在備份時間長、存儲成本高等難題。
AnyBackup提供的HDFS數據保護方案,可根據客戶需求將代理部署在HDFS集群中或集群外,從而實現性能保障或減少主機資源占用的目的。AnyBackup備份時可結合增量比對算法,實現數據的增量備份和永久增量備份。無論HDFS的副本數是多少,AnyBackup HDFS數據保護方案僅備份一個副本的數據,節約存儲資源占用。此外,AnyBackup HDFS數據保護方案支持文件目錄按需過濾,靈活縮減備份數據源,進一步提升了備份效率并降低了存儲成本。
AnyBackup Hive數據保護方案
Hive作為構建在 Hadoop平臺之上的數據倉庫工具,是Hadoop平臺最大數據量的應用組件。然而,因自身架構需要,Hive的元數據和數據分離存儲,這給備份時如何保障數據一致性提出了新挑戰。同時由于Hive可兼容多種關系型數據庫作為其Metastore(元數據庫),數據保護方案如何適配不同關系型數據庫也十分重要。
AnyBackup Hive數據保護方案無需停機,在線即可實現Hive海量數據的備份,有效解決了備份數據一致性的問題。同時,AnyBackup提供的方案可忽略具體的Metastore關系型數據庫選型,從而實現所有的Hive Metastore的全面適配。
AnyBackup HBase數據保護方案
HBase作為分布式存儲系統,為Hadoop平臺提供了海量數據實時訪問的能力。由于HBase 管理著海量數據,且支持基于 RegionSever 的水平擴展和基于 HDFS 存儲擴展的特性,如何高效經濟地實現對HBase數據的保護,也是需要解決的難題。
AnyBackup HBase數據保護方案,支持表粒度的備份恢復,能夠精準地備份恢復所需數據,在一定程度上提升了數據保護效率。值得指出的是,AnyBackup支持HBase備份副本間任意時間點的恢復,滿足更高的RPO要求。
強強聯合:愛數攜手星環科技,共筑大數據平臺安全壁壘
星環科技是全球領先的企業級大數據基礎軟件平臺廠商,圍繞數據全生命周期為企業提供基礎軟件及支持,也是經過工信部信通院測試大數據產品線最豐富的供應商。星環科技產品已在政府、金融、電力、能源、制造、教育、醫療等20多個領域落地。
愛數與星環科技強強聯合,攜手打造AnyBackup TDH(Transwarp Data Hub)大數據平臺保護方案,以更好地服務于各行業客戶。AnyBackup TDH大數據平臺保護方案,可實現數據 高效、經濟、安全的保護。不僅如此,愛數與星環科技已完成了兼容性測試,成功通過了雙方的產品認證,能很好地保障TDH大數據平臺數據安全。
AnyBackup TDH大數據平臺保護方案,是愛數與星環科技憑借雙方在各自優勢領域的技術積累,聯合打造的1+1>2的解決方案。未來,雙方還將持續深入合作,以更優質的聯合解決方案,更好地服務于各行業客戶。
大數據與分析已成為數字化轉型戰略中的第一要務,如何在享受大數據帶來益處的同時,保障海量數據安全,也成為組織在數字化轉型過程中亟待解決的問題。AnyBackup始終以保護數據安全為使命,護航廣大行業客戶的數字化轉型之旅。這也正是AnyBackup設計大數據平臺保護方案的初心。未來,AnyBackup還將繼續努力,推出更多創新的技術和解決方案,加速數字化轉型之旅。