4月9日至11日,第九屆中國電子信息博覽會(CITE2021)在深圳會展中心舉辦。同期有多場重磅會議及技術論壇開幕,其中4月9日舉行的深圳國際大數據與存儲峰會以及Web3.0中國峰會格外引得業界關注。
西部數據展臺
作為世界存儲巨頭,西部數據攜旗下一系列存儲產品亮相展會,尤其是面向未來的IPFS數據存儲解決方案更是亮點十足。西部數據公司副總裁兼中國區業務總經理劉鋼也在Web3.0中國峰會上為我們帶來了以“創新存儲架構,突破IPFS算力瓶頸”為主題的演講。
西部數據公司副總裁兼中國區業務總經理劉鋼
·企業級存儲架構面臨挑戰 IPFS發展迅猛
我們的世界正全面交由數字構建,大數據發展的尤為迅猛。據IDC預測,到2024年,以HDD為代表的大數據預計將增長到1.62ZB。而主要以SSD為介質的快數據在2024年也將增長到333EB。相較于HDD大數據30%的年增長率,SSD快數據50%的增長率是非常快的。
如果統計整個2024年產生的數據,總容量將會達到驚人的143個ZB,也就是說大數據和快數據加起來也只有約2 ZB,也就是僅有1.5%的數據被存儲。
我們經常說,數字時代,數據就是石油,為什么這多的數據沒有被存儲下來,繼而進行分析并挖掘其價值?很重要的一個原因是存儲架構和存儲技術沒有及時地跟上,以至于有很多數據沒有辦法被存儲下來并及時使用。
現代企業級數據存儲架構正面臨著嚴峻的挑戰。迅猛的數據增長速度、對于存儲性能的高要求、更低的總擁有成本(TCO)以及更加環保的綠色能耗體系等多個方面的要求亟需存儲架構的革新與變化。
目前,數據的傳輸與訪問,是基于HTTP協議為代表的互聯網協議實現的。互聯網將計算機與智能移動終端連接在一起,使得用戶能夠訪問存儲其他終端上的海量數據。數據以計算機、終端域名為地址進行中心化存儲,帶來了巨大的流量訪問和數據傳輸壓力。
而IPFS去中心化分布式存儲架構將會有效降低目前基于中心化的云存儲成本,將和去中心化的云計算一起作為Web3.0的重要基礎設施,加快推動相關行業的數字化轉型進程,構建商業新場景,促使經濟社會發生深刻變革。
IPFS 是InterPlanetary File System的縮寫,譯作星際文件系統。簡單而言,IPFS是一個內容可尋址的對等超媒體分發協議,用戶要尋找的是存儲在某地方的內容,這些內容分散在不同的服務器節點,而不是某個地址,因此只需確認驗證內容的哈希值,就可以達到訪問目標,大大減小了中心存儲的壓力。
有了面向未來的IPFS存儲架構,還需要將數據進一步細分,這就涉及到了分層存儲。按照數據的熱度和使用頻率,我們可以簡單的將其分為極熱數據、熱數據、溫數據、冷數據和極冷數據。
事實上,我們很難找到一種存儲介質、存儲設備能夠同時滿足所有層級的數據存儲需求,對于不同層級的數據,需要采用的存儲介質和存儲的設備是不一樣的,這樣才能夠既滿足海量數據的存儲和對熱數據的快速訪問。
大數據部分主要針對冷存儲和極冷存儲,業界通常使用高密度的大容量企業級HDD來進行。目前,已經進化到了18TB容量的高密度硬盤產品。西部數據的Ultrastar DC系列硬盤已經在多個云服務商處得到驗證與部署。西部數據基于SMR(疊瓦市磁記錄)技術開發的企業級HDD,已經做到了20TB的容量,幾家頭部云服務商部署的硬盤在過去4年當中,已經從8TB容量進化到了18TB,發展非常迅速。
西部數據公司副總裁兼中國區業務總經理劉鋼
但更為驚人的是,IPFS服務商的硬盤容量演進速度。在過去的四個季度,他們幾乎就走完了傳統云服務商用時四年才完成的存儲容量升級,也就是說從8TB進化到了18TB。
拋開升級速度,無論是IPFS服務商,還是傳統云服務商,使用單盤容量越來越大的HDD是統一的,為什么大家從8TB不斷升級至12TB、14TB,繼而到現在的18TB?其實很簡單,在同樣存儲容量的情況下,使用18TB硬盤可以大大減少服務器的數量,提高存儲密度,從而降低功耗,降低部署成本,最終降低運維成本。
IPFS存儲與數據分層,讓我們有可能使用各種產品的存儲組合,來滿足用戶各方面、各種存儲場景的需求,繼而解決未來數據時代的存儲痛點。
·西部數據領先產品 賦能IPFS存儲與計算集群
作為世界領先的存儲架構公司、在存儲領域深耕第51年的存儲巨頭,西部數據擁有完整的企業級存儲產品線。
在HDD方面,西部數據的SMR技術已經成功應用到20TB容量的硬盤上了,一些客戶通過部署Ultrastar DC HC650 20TB SMR HDD,得到了更低的總體擁有成本(TCO)與更高的存儲密度。全球領先的云存儲服務商Dropbox是首批測試驗證西部數據Ultrastar DC HC650 20TB SMR HDD的公司之一。
對于需要頻繁訪問的快數據部分,像熱存儲、溫存儲,西部數據主要提供了兩種不同類型的SSD產品,像面向極熱存儲的Ultrastar DC SN840 NVMe SSD,主要針對寫入負載密集的負載而設計,可以幫助用戶完成高性能的計算工作。而Ultrastar DC SN640 NVMe SSD更多應用到主流的服務器和云上,適用于讀寫均衡的混合型工作負載。
對于企業級客戶來說,選擇SSD供應商需要考慮很多因素,足夠的產能與供應能力,足夠低的成本和領先的性能,以及良好的縱向優化能力,都是影響用戶購買決策的重要方面。
而這幾點,恰恰是西部數據的優勢。西部數據剛剛推出了第6代3D閃存技術,162層的3D閃存會進一步提高側面單元密度,相比BiCS5相比,芯片尺寸減小40%,程序性能可以提高兩倍以上,輸入/輸出性能提高約66%。西部數據與鎧俠一起投入巨資,擁有領先的閃存產能優勢,占有全球近3分之一的Flash產能。
此外,西部數據還擁有完全自主的控制器和固件,和NAND Flash縱向集成,有助于性能和穩定性的不斷優化,確保客戶采購的產品在整個生命周期內擁有穩定的I/O一致性。
在IPFS存儲系統中,“存算分離”是一個特別重要的特點。也就是說存儲集群和計算集群是分開的,兩個集群的存儲特性有著明顯的區別。
如果使用西部數據的18TB HDD,以4U60+18TB的解決方案為例,與傳統的4U36+16TB組合相比,機柜數量可以減少約46%,功耗減少約36%,明顯降低部署成本和運維成本。
目前,西部數據已經與多家合作伙伴聯合推出了IPFS存儲解決方案,例如星辰天合、浪潮和西部數據共同推出的IPFS存儲系統,使用了西部數據Ultrastar DC HC550 18TB HDD、浪潮英信服務器NF5466M5、XSKY文件存儲系統等關鍵組件,不僅實現了快速部署、便捷運維,還有助于減少業務的異常情況帶來的損失,大幅提升業務收益。
在基于分布式存儲的Web3.0架構之下,西部數據展示了全方位的技術實力和相應解決方案,賦能IPFS基礎設施建設。與業內合作伙伴一起打造的針對IPFS優化的計算和存儲節點方案,可以幫助客戶更好的挖掘出大數據時代數據的真正價值。