宋家雨 – 來自IT的我
我一直試圖在傳統集中式存儲和分布式存儲應用之間找到一條界線,盡管有交叉和重疊,但還是應該有一條界線:哪些適合集中式存儲,哪些適合分布式存儲。但是這條界線我一直也沒有找到,因為既不能按性能劃分,也不能按照容量劃分,如果按照業務穩態、敏態類型劃分也不合適,總之沒有一條清晰界線。高興就好,全憑用戶的喜好。
數據界線涇渭分明
相比存儲系統界線的混沌不清,數據的界線堪稱涇渭分明。
數據有結構化、半結構化和非結構化數據組成,其中非結構化數據是導致數據量激增的主要原因。
此前,應用關注的重點在結構化數據,因為其特點是價值密度高,數據量并不大,主要以數據庫、數據倉庫等應用為主。但是隨著數據處理成本的不斷降低,大量非結構化數據也得到了重視,以電商、在線教育為例,用戶的消費習慣和訪問行為都成為了業務關注的重點,盡管其價值密度低,且數據量巨大。
但是無論何種數據,都存在一個從極熱/熱、溫、冷、極冷數據的變化過程,所謂數據的生命周期,不同階段對處理需求也不相同,例如熱數據處理需要高IOPS、低延遲的能力。相比冷數據則對IOPS、延遲要求不高,主要訴求在容量上,主要強調$/GB的成本。
目前還沒有一種存儲技術能夠同時滿足數據生命周期的全部需求,要么滿足性能,要么滿足$/GB成本,在現實選擇中,NAND SSD主要用于滿足性能需要,大容量硬盤用于容量型的滿足。全閃存陣列和分布式存儲并存。
分布式存儲的新突破
值得注意的是,集中式存儲是中心化性質的存儲,通過http協議方式集中訪問,由于數據中心化,高峰時會面臨擁擠,卡頓的現象,同時容易受到攻擊,導致信息丟失,盜竊;其運維成本比較高。
而分布式存儲是一種去中心化存儲,例如面向全球的、點對點的分布式文件儲存系統,數據訪問采用點對點的超媒體傳輸協議。
在架構設計上,構建一個分布式存儲,需要構建計算集群和存儲集群,其中,計算集群用于生成和驗證復制證明(PoRep)、時空證明(Post)等鑒權數據;存儲集群則用于海量分布式數據的存儲。
集群性質不同,所需要的存儲支撐技術也不相同。
計算集群需要對PoRep、Post等進行交互式驗證,會涉及原始數據的封裝處理、證明數據的計算、檢索和抽取等,要求是高IOPS,以及穩定性、可靠性,一旦失敗,將直接影響經濟效益。因此在技術的選擇上,計算集群適合采用企業級SSD產品,如西部數據的Ultrastar DC SN640/SN840 NVMe SSD。
相比,存儲集群對于單盤容量、成本比較敏感。SMR等大容量硬盤更能夠滿足存儲集群的需求。有數據顯示,單盤容量的提升能夠帶來更大容量、更低功耗,以及更高的效率。
西部數據公司副總裁兼中國區業務總經理劉鋼在近日舉辦的Web3.0中國峰會上表示:“在Web3.0領域,主要容量節點從8TB遷移到今年的18TB只花了四個季度的時間。Web3.0廠商快速學習了互聯網服務商最新的存儲技術,然后部署到18TB的更大容量、更高密度的方案,來獲得存儲成本和密度的優勢。目前,18TB已經是云存儲和Web3.0存儲中最主要的容量節點。”
西部數據公司副總裁兼中國區業務總經理劉鋼
去中心化的存儲,對源數據的確權,以及重復數據、副本數據的甄別,都帶來了創新性的思路,從效果看在$/GB成本表現上更勝一籌。此外,外部環境的加持,更為數據生命周期管理帶來嶄新的思路。
劉鋼指出:“憑借行業領先的閃存和硬盤存儲技術,以及縱向集成與產能上的獨有優勢,西部數據不斷為分布式存儲領域提供先進的數據存儲架構和解決方案。在未來,我們將持續助力客戶降低部署和運維成本,并滿足高效率、大容量及節能減排等多樣化需求,加速Web 3.0落地,助力‘東數西算’算力網絡建設。”
西部數據公司副總裁兼中國區業務總經理劉鋼在Web3.0 中國峰會現場發表演講
據劉鋼介紹,在分布式存儲領域,西部數據攜手多位行業合作伙伴,共同探索創新的存儲解決方案,賦能Web3.0的蓬勃發展。
其中,騰訊結合了西部數據企業級硬盤,以及面向騰訊應用場景進行優化的高密存儲服務器,推出分布式存儲服務Tencent COS,實現了存儲桶空間無容量上限擴展,滿足多種場景需求,并實現了穩定性、安全性、易用性、成本效益等方面的優勢。
西部數據與杉巖數據聯合打造融合了杉巖MOS海量對象存儲系統、Ultrastar DC SN640/SN840、Ultrastar DC HC550 和 JBOD 存儲平臺的解決方案,降低了業務的總體擁有成本(TCO)、全面提升經濟效益。
靈動則應用了西部數據Ultrastar DC SN640/SN840、Ultrastar DC HC550,讓客戶擁有更快的封裝、驗證、出塊速度,并根據網絡質量對三大網絡運營商進行實時調整,自由切換,提高了客戶的效益。
此外,星辰天合(XSKY)、浪潮聯手西部數據,推出了分布式存儲解決方案,包括西部數據 Ultrastar DC HC550 18TB硬盤、浪潮英信服務器NF5466M5、XSKY文件存儲系統等關鍵組件,不僅實現了快速部署、便捷運維,還減少了業務的異常情況帶來的損失,大幅提升業務能力。
小結
作為企業最核心的資產,全生命周期的數據必須得到重視,既然沒有一個單一技術的選擇,這意味著現實階段還需要將存儲分層技術進行到底!