過去十年里,數字經濟的蓬勃發展,不僅帶來了數據爆炸性增長,也讓數據的重要性日漸突顯。
如果說數據存儲是數字經濟發展的數字底座,那么分布式存儲就是底座中基石,不可或缺。當下,中國分布式存儲產業化已經初具規模,中國信通院調查數據顯示,2021年中國分布式存儲市場規模達到178億元,年增速44%;預計未來三年,市場仍將保持40%以上的增長率。
面對如此高速增長的市場,華為、戴爾科技、浪潮、曙光、XSKY、杉巖數據等多家企業都積極加入其中。那么,分布式存儲市場近年來為何獲得越來越多用戶認可?中國分布式存儲市場存在著哪些重要趨勢?中國分布式存儲市場產業化如何走向一條健康、良性的發展之路?
近日,首屆分布式存儲產業發展論壇正式召開,來自產、學、研和用多方代表齊聚一堂,共商分布式存儲產業發展新機遇與新路徑。會上,分布式存儲產業方陣(DSIA)還正式發布了《分布式存儲發展白皮書》。從本次論壇上,我們或能對分布式存儲未來趨勢見微知著。
1.分布式存儲為何備受青睞
近年來,繁榮的數字經濟、千行百業的數字化轉型,讓數據存儲市場持續增長。其中,分布式存儲更是以遠超市場平均增長的速度獲得各界極大關注。那么,哪些因素驅動了分布式存儲在數據存儲市場中一枝獨秀?
首先,從長遠趨勢看,數字經濟將成為社會經濟發展的新引擎,其繁榮發展必然帶來數據的爆炸性增長。IDC預測,到2025年,中國的數據量將增長到48.6ZB,80%是非結構化數據,并且將成為全球最大的數據圈。而且非結構化數據的增長速度遠超結構化數據,這讓擅長處理、存儲非結構化數據的分布式存儲如魚得水。
其次,從應用場景趨勢看,隨著5G等基礎設施建設的完善,像自動駕駛、智慧交通、智能制造、智慧港口、智慧礦山等新應用場景開始大量涌現,這些新應用、新場景在基礎設施層普遍基于分布式架構,并且融合了大數據、AI、物聯網等技術,同時還會持續產生海量數據,非常適合采用分布式存儲來存儲和處理數據。
第三,從政策導向上看,在中國市場,隨著數字化轉型的深入,各行各業都在鼓勵分布式相關技術的應用與部署,這無疑會在基礎設施層推動分布式存儲的普及與應用。目前,金融、電信、政務、制造等多個行業均已經加大了分布式存儲的采購,未來這種趨勢還會持續。
例如,央行金融科技委員會在《金融科技發展規劃(2022—2025年)》明確金融數字化轉型的八大任務,其中就包括建設分布式架構的先進基礎設施,推動國內大批金融機構加速進行分布式架構改造,將大量應用遷移和部署到分布式存儲之上。
可以說,從長遠趨勢、應用現狀和政策導向等方面看,分布式存儲深入到千行百業的基礎設施層已是大勢所趨,其擴展性、高性能、開發性等特性與用戶數字化轉型的基礎設施建設需求高度契合,也鑄就了產業化的基礎。
2.分布式存儲這些趨勢一定要知道
首先,分布式存儲產品形式和交付形態會出現重要趨勢,即軟硬一體機的方式將成為市場的絕對主流和用戶首選。
眾所周知,分布式存儲領域產品形態多樣,主要有商業軟件+專用硬件、商業軟件+通用硬件、開源軟件+通用硬件三種形態,可以為用戶提供豐富的選擇。但應用場景發展到現階段,應用規模、應用復雜性早已今非昔,采用分布式存儲純軟件+通用硬件的方式逐漸很難適應用戶在部署、性能、管理、服務等方面的需求。
這是因為,分布式存儲純軟件+通用硬件的方式,不僅需要對軟硬件兼容適配、部署、性能調優、管理等方面花費大量精力,遇到問題也很難判斷是哪方的責任,不利于問題的快速解決,可能會嚴重影響到業務。
而分布式存儲一體機采用特定設計或針對性優化的存儲硬件,通過軟硬協同實現端到端的高可靠、高性能、高擴展以及一體化的運維能力,則徹底降低了分布式存儲在部署、管理和服務等方面的復雜性,全面滿足用戶需求,逐漸在市場中脫穎而出,成為用戶選擇分布式存儲的首選。
《分布式存儲發展白皮書》的數據也印證了這一趨勢。《白皮書》數據透露,2021年中國分布式存儲市場規模已達百億元級,其中一體機形態占比高達91%。
其次,分布式存儲在擴展性、性能、多協議支持、可靠性和開發性等方面的優勢,使得其適配應用場景的潛力巨大,隨著新應用、新場景日漸豐富,必然會帶來大量的數據存儲需求,而分布式存儲有望加速獲得更多應用。
《分布式存儲發展白皮書》也總結出當前分布式存儲適用的九大典型應用場景,既包括虛擬化/云計算、電子票據、醫療影像等傳統應用場景,也覆蓋了HPC、大數據分析、AI、工業互聯網等新應用場景。
例如,像精準醫學領域的基因測序,智慧交通領域的自動駕駛,能源領域的勘探,類腦科學研究、媒體動畫制作等場景,都屬于典型的HPC場景,這些場景負載類型多樣、應用復雜、容量需求走向EB級、性能要求極高,而分布式存儲對于混合負載的支持,以及多協議的互通、高擴展性等特性,使得其在上述場景中能夠充分發揮自身優勢,對業務提供極好的數據存儲保障。
第三,分布式存儲技術迎來架構、硬件、軟件和數據管理將迎來一次全面變革。面向HPC、大數據分析和AI等新應用、新場景時,分布式存儲逐漸走在了創新的最前沿,從架構等層面進行針對性的創新,從滿足新應用的需求。例如,面向混合負載、多協議互通、支持全閃化的分布式存儲架構已經成為華為等廠商力推的發展方向。
比如,大數據分析場景愈發普遍,大數據分析發展到如今,計算與存儲分離、解耦成為大勢所趨,計算、存儲資源按需配置有利于降低整體TCO,這就要求分布式存儲能夠支持存算分離,一套存儲同時支持HDFS、文件、對象等多協議的訪問,以及流式入湖、統一元數據等。
《白皮書》也認為,分布式存儲在架構、硬件、軟件、數據管理和綠色節能等方面依然有著眾多可以創新與突破的領域,業界廠商聚焦這些領域的創新,不僅有望推動分布式存儲產品、技術的演進,更利于整個產業的長遠發展。
總體來看,中國分布式存儲市場規模達到百億級之后,的確為市場注入了前所未有的創新活力,進一步推動了產品架構與技術的創新,但產業化的健康發展之路,依然存在著不小挑戰,亟待各界形成共識。
3.產業化提速:這些因素不可忽略
當前,中國分布式存儲的產業化已經初具規模,為今后的長遠、健康發展打下了堅固基礎,但要想讓產業化提速、獲得更健康的發展,還需要產學研用各界力量從產業發展環境、技術創新與突破、產業標準等方面進一步完善。
例如,國家今年完成了全國一體化大數據中心體系總體布局設計,正式啟動了東數西算工程。數據存儲無疑在東數西算工程中的重頭戲。針對東數西算工程及之后一系列應用,分布式存儲產業各界需要盡快形成共識,積極融入其中,充分發揮分布式存儲的作用與價值。
另外,分布式存儲面向全閃化的架構重構、專用數據處理芯片、安全可信、非結構化數據縮減等關鍵技術都極具挑戰,考驗著分布式存儲廠商從軟件到硬件的全棧設計和研發能力,需要各大分布式存儲廠商能夠在技術創新方面持續投入和取得突破,,打造出具有世界級競爭力的產品。
又如,國內分布式存儲標準體系依然處于起步階段,缺乏完整的體系化引領和指導,需要產、學、研、用各方協同,加速強化標準體系的頂層規劃設計,建立高質量的技術要求和產品規范,保證產業的良性發展。
林林總總,中國分布式存儲產業迎來了前所未有的發展良機,繁榮的數字經濟和廣闊的應用場景使得分布式存儲在中國市場大有可為。而隨著分布式存儲產業方陣(DSIA)的成立,產業標準和評測體系有望加速落地,而各大企業加大創新力度,也有望為市場帶來更多活力。