數據量的爆炸式增長和企業對數據價值挖掘的渴求,正在讓存儲市場迎來前所未有的發展機遇。一方面,分布式存儲正在經歷快速的增長時期,IDC 2019年市場預測報告顯示,無論是對象存儲、文件存儲還是塊存儲,分布式存儲在未來幾年里都會保持兩位數高速增長。另一方面,全閃存儲逐漸成為主流,據IDC市場報告顯示,全閃存儲在所有采用存儲的企業里幾乎占據80%的使用率。
正因為預見到存儲市場即將發生的巨大變化,青云QingCloud (qingcloud.com)自2012年開始推出第一個版本的云計算產品,就在存儲的底層堅持采用完全自研的方式,經過8年磨礪,積累了大量在云計算環境下,對于存儲的需求與技術的實踐。到目前為止,推出的QingStor產品家族包含QingStor NeonSAN、QingStor對象存儲、QingStor文件存儲、QingStor融合存儲等四款產品,共同支撐市面上幾乎全部主流的云計算產品。作為底層存儲引擎,可以說QingStor是“為云設計、為云而生”的一款產品。
從零開始的勇氣:100%自主設計和研發
“跟其他做分布式存儲的公司最大的不同是,QingStor在公有云和私有云是采用同一套架構,同一套代碼實現的。可以說,QingStor全線產品是經過公有云和私有云共同的檢驗,得到大規模生產環境驗證的。”QingStor 存儲產品線研發負責人王煜特別強調。
相較于當下國內的分布式廠商中,有些是基于開源的分布式存儲作為底層做二次封裝和二次開發,QingStor全線產品均從零開始,自主設計、自主研發,本質區別在于從架構設計階段,QingStor采用了自己的架構設計理念,完全沒有參考當下開源的存儲架構。
我們清楚的明白自研的道路一定是艱難的,那為什么QingStor非要這么做呢?對此QingStor存儲產品線研發負責人王煜向媒體解釋出了選擇自研方向的兩點主要原因:
首先,青云QingCloud認為目前沒有一款開源存儲,能夠滿足企業核心上云過程中對于存儲的嚴格要求。
例如,Ceph本身在性能上有很大的弊端,很難承載企業客戶關鍵性的核心業務。HDFS是Google 2006年GFS論文的開源實現,針對互聯網大數據的場景,并不非常通用,單點及擴展性問題都是難題。
其次,青云QingCloud希望作為一家中國企業,能夠為客戶提供全棧自主可控的優質產品,從而消除企業對數據安全的顧慮。
對于QingStor家族的四款產品,每一款都是在架構設計時采用獨立的設計方法,原因就在于企業的存儲場景多樣且復雜,不存在一種架構設計能夠完全滿足所有存儲場景,對于性能、大容量、高IOPS、高吞吐量的需求各有不同。
如果想要通過“銀彈架構”解決所有場景問題,就必然在某一些場景下做出犧牲。而QingStor家族的四款產品則分別專門針對極致性能、海量數據、通用場景、高性價比而設計,可以很好的滿足核心業務、對象存儲、文件存儲、融合存儲的需求。
到目前為止,QingStor的產品家族已經積累了數萬家企業客戶,部署在公有云和私有云上。在公有云部分,QingStor全線產品已經上線和部署在青云QingCloud的8個公有云區。在私有云部分,QingStor幾乎覆蓋了全部主流的行業,擁有非常多的行業客戶案例。
另外,本次QingStor升級發布最為核心的是將存儲全棧產品線進行國產化。除了軟件架構的部分,底層的芯片和操作系統,也跟很多國產化廠商進行合作和互認證,包括鯤鵬、海光、飛騰、浪潮OpenPower等,還有操作系統,統信軟件、麒麟等。
進而希望通過國產化適配,能夠讓QingStor存儲產品線實現全棧國產化,以此消除企業客戶的顧慮和擔憂。
QingStor存儲家族壯大,成員各具亮點
本次會上,QingStor存儲家族更迎來了全線升級:包括QingStor NeonSAN 3.0、QingStor 對象存儲 3.0、QingStor 文件存儲 2.0 以及管理平臺 Portal 3.0。同時,青云QingCloud也推出容器存儲一體機 KubeSphere KF3000 和分布式全閃存儲一體機 QingStor NF6000 兩大新品。具體來看此次升級:
分布式塊存儲QingStor NeonSAN,面向企業關鍵業務與核心數據的性能擔當。此次主要從場景能力和功能兩大方面進行提升。在場景能力方面,QingStor NeonSAN 針對云平臺/虛擬化場景、大數據場景、業務連續性場景以及容器/云原生四個主要核心場景進行能力升級,如圍繞云平臺/虛擬化場景新增兼容平臺 VMware vSphere 7.0、Hyper-v、Hadoop 等提供新的特性;圍繞大數據場景提高存儲使用效率和大數據應用能力;圍繞業務連續性場景提供整套完整解決方案,提高資源管理能力,簡化管理難度等。
在功能方面,新增4大功能,分別為異構存儲池支持、卷粒度的QoS、在協議層面的全RDMA互聯,并對業界最主流的NVMeoF協議實現支持。
QingStor 對象存儲 3.0,一款魚和熊掌兼得的存儲服務,兼得存儲性能和海量數據。在3.0版本中帶來的新能力主要有更多的數據場景,并在性能上保持領先。
QingStor對象存儲3.0,在對象版本控制、數據追加寫入、數據跨區域復制,以及生態工具四個功能上有所提升。此外新版本還具有新的能力的變化,一方面QingStor對象存儲3.0具有更強的、更具優勢的存儲性能。另一方面QingStor對象存儲3.0可以服務于更多的數據應用場景,如數據遷移、數據保護、數據備份、AI視頻監控。
QingStor 文件存儲 2.0,一款云計算基礎架構下,更加通用的文件存儲產品。此次更新通過局部服務架構優化、更先進的編程語言,使得QingStor文件存儲性能提升明顯。例如,在系統架構層面持續升級,增加智能 I/O 邏輯,并通過采用更加安全、高效的系統級開發語言 Rust 重構核心模塊,提升性能,如單客戶端 4k 隨機讀寫提高超過 200%,單客戶端 64k 順序讀寫吞吐提高 100%。
在通用更新中,QingStor將管理平臺Portal升級為3.0版本,主要的升級內容包括:加入了對象存儲的管理,實現存儲后臺的統一管理,可以用同一個管理后臺管理所有存儲產品;加入了豐富的可視化圖形,增強企業運維人員對存儲的理解;增加了硬盤健康狀況預警功能,幫助運維人員在硬盤發生故障之前,提早預測系統內部可能發生的故障。
KubeSphere KF3000,結合KubeSphere 以及QingStor NeonSAN兩款產品本身的企業級能力,旨在幫助企業級用戶快速落地的容器平臺。在KubeSphere KF3000一體機上,青云QingCloud不僅做了代碼的優化,同時還進行了軟硬件一體化的調優,并且,通過大量的深層優化而具有整體性的產品,提供整體的商用級服務。
在容器平臺上批量創建pod的場景上,批量創建100個pod以及pv卷的時間僅為70秒,通過FIO工具,單pod可提供10萬以上的IOPS,時延只有0.17ms。
QingStor NF6000分布式全閃存儲一體機,旨在實現高性能全閃的普惠。基于x86架構的服務器,可實現在3個節點下有100萬IOPS性能指標,時延可保持在0.5ms以下。在運維層面,針對已選定的硬件,還可以做硬盤點燈的功能,減少運維層面的工作內容。
有了兩款硬件產品的加持,利用軟硬件結合的匹配度,用戶便可以在存儲方面做到更加穩定、性能更加出色,且運維效率能夠得到大大的提升。
總結:自研的道路往往是孤單、艱難的,長期大量的投入,或許效果還不盡人意,所以這份勇氣與魄力非一般企業能承受。一路走來,青云QingCloud往往能將挑戰化為機會,細心打磨產品,不斷為用戶提供更有價值的服務與選擇,而青云QingCloud存儲市場的表現更是可圈可點的。由此可見,在QingStor分布式存儲走向成功的道路上,勇氣與實力缺一不可。