今天的故事要從青云QingCloud (qingcloud.com)分布式存儲產品——QingStor的發展歷程開始講起。
2015年,青云QingCloud發布了青立方超融合和QingStor企業級分布式存儲,并迎來了第一款產品——QingStor對象存儲。2017年,QingStor NeonSAN塊存儲正式發布,強調高性能和低延時,支持真正的水平擴展,主要用于企業核心業務等基于塊存儲的應用。2018年,青云QingCloud補全了存儲產品線,發布了QingStor文件存儲,其底層采用了QingStor NeonSAN的核心技術。2019年,QingStor融合存儲發布,實現了一套存儲架構同時提供前面三種存儲服務,在底層真正實現存儲資源的統一,企業管理者可以靈活調配不同應用系統所使用的不同類型的存儲空間,并支持統一管理,解決企業很難提前規劃上層業務對于各存儲接口或存儲服務的使用量,并希望后期能夠靈活分配的需求。
到目前為止,QingStor的產品家族已經積累了數萬家企業客戶,包括公有云和私有云兩種部署方式。在公有云部分,QingStor全線產品已經上線和部署在青云QingCloud的8個公有云區。在私有云部分,QingStor幾乎覆蓋了全部主流行業,擁有非常多的行業客戶案例,包括銀行、保險、證券、制造、能源、醫療等。需要強調的是,青云QingCloud與其他做公有云、私有云廠商最大的不同是,QingStor在公有云和私有云是采用同一套架構,同一套代碼實現的。可以說,QingStor全線產品是經過公有云和私有云共同檢驗,得到大規模生產環境驗證的。
今年,存儲市場又出現了一些新的動向:移動互聯網、大數據、5G、AIoT等新興技術的興起,對存儲提出了諸多新的要求,如:高容量、支持更復雜的場景等,分布式存儲得到了巨大增長。在企業內部,分布式存儲部署的占比也越來越重。
另一方面,得益于SSD全閃介質的成本逐年下降,全閃存儲逐漸成為主流。IDC市場報告顯示,全閃存儲在所有采用存儲的企業中,幾乎已經占到了80%的使用率,并且會在未來保持50%的年均增速。
在這樣的大趨勢下,青云QingCloud存儲產品迎來了重大升級,包括全新升級了管理平臺Portal 3.0,QingStor NeonSAN 3.0,QingStor對象存儲3.0,QingStor文件存儲 2.0等。
QingStor NeonSAN 3.0性能再升級
在 IDC 最新發布的《中國軟件定義存儲及超融合市場跟蹤研究報告,2019Q4》中,青云QingCloud 旗下的QingStor企業級分布式存儲和青立方超融合憑借優異的技術和市場表現雙雙入圍核心廠商。其中,QingStor NeonSAN連續兩年入圍,躋身軟件定義塊存儲市場四強,并且成功帶動QingStor 企業級分布式存儲近三年復合增長率超600%。青立方超融合則保持穩定增長,連續三年入圍核心廠商。
在筆者看來,青云QingCloud完全自主研發的分布式SAN存儲產品——QingStor NeonSAN是QingStor產品線中最核心的產品。作為“云時代企業核心存儲平臺”,QingStor NeonSAN在2.0版本就具備了極致性能、穩定可靠、智能運維等優勢。QingStor存儲產品線產品經理馮相東詳細介紹了QingStor NeonSAN 3.0版本的一系列升級。
為了方便用戶在一套集群內使用不同硬件配置的節點,給客戶更靈活的選擇,將不同的業務放在不同節點的存儲池上,QingStor NeonSAN 3.0支持異構存儲池。QingStor NeonSAN 3.0支持以單卷粒度設置IOPS/帶寬限速和突發IOPS/帶寬限速,可以對接物理機、云平臺里的虛擬機、容器里的Pod,和每個卷上面的應用形成更緊密的關聯,保證不同存儲集群內不同業務對QoS的需求。無論是在物理機、虛擬機還是容器平臺上,QingStor NeonSAN 3.0都可以支持端到端的RDMA的互聯。在網絡層面,QingStor NeonSAN 3.0以NVMeoF 通過NVMe協議訪問后端存儲上NVMe接口的SSD,進一步提高存儲的訪問效率。
除了新增的主要功能外,QingStor NeonSAN 3.0版本還做了六項優化,包括iSCSI效率提升30%;增量備份機制優化,提高備份效率,備份時間縮短30%;支持卷副本分布查詢,更好地判斷數據冷熱分布;硬盤運維更靈活,支持數據保留和遷移兩種模式;在線升級效率提升50%;復雜環境下的自愈能力優化。
圍繞核心場景打造產品能力
QingStor NeonSAN從1.0到3.0,始終都在圍繞核心場景來打造產品的能力:云平臺/虛擬化場景、大數據場景、業務連續性場景以及容器/云原生的場景。
首先在云平臺/虛擬化場景中,QingStor NeonSAN 除了可以與QingCloud云平臺形成完美的對接、實現云平臺層面的統一管理和性能的最大優化之外,還能很好地對接業界使用比較多的虛擬化平臺、云計算平臺,如VMware平臺、OpenStack平臺、Hyper-V平臺。QingStor NeonSAN在3.0版本中可以完全兼容最新的VMware vSphere 7.0平臺,并且新增了umap特性支持,在VMware的平臺層面更好地做空間回收的管理。同時,QingStor還是VMware官方TAP的合作伙伴,QingStor NeonSAN獲得了VMware存儲的官方認證。QingStor NeonSAN 3.0還優化了與OpenStack平臺的標準接口,通過新的接口調度OpenStack平臺統一的后端存儲資源池,并支持Hyper-v的虛擬化平臺。
在大數據場景中,QingStor NeonSAN 3.0專門做了一些設計,如提供互斥卷組的策略,即在QingStor NeonSAN 層面提供多個單副本的卷。這樣保證了存儲的使用率,不會造成存儲空間的浪費。另外,在和HDFS文件系統的對接上,QingStor NeonSAN在性能方面也做了優化。QingStor NeonSAN作為一款企業級塊存儲,本身的性能優勢和豐富的功能,也會使Hadoop、Spark框架的存儲效率得到很大的提升。
在業務連續性方面,青云QingCloud 能提供一整套基于QingStor NeonSAN 的、以存儲為 核心能力的業務連續性解決方案。包括支持區域(Region)架構下不同的可用區和獨立可用區(Zone)架構下基于QingStor NeonSAN實現數據同步復制/異步復制的方案。QingStor NeonSAN能夠與青云QingCloud 云平臺一起,統一管理云平臺上的計算資源、網絡資源、存儲資源,提供一整套完整的業務連續性管理的解決方案,滿足業務對不同RPO/RTO的要求,大大地簡化業務連續性的管理,提高業務連續性的效率。
云原生持久化存儲場景中,在功能層面,QingStor NeonSAN提供標準CSI插件,支持與容器粒度卷的管理,以及快照、克隆、在線擴容、QoS等存儲高級特性。在性能層面,QingStor NeonSAN 可以在整條鏈路支持端到端RDMA的訪問。基于高效率協議的支持,QingStor NeonSAN 可以保證容器端應用訪問存儲的時延控制在微秒級別,基本是0.1-0.3毫秒訪問時延的水平。整體上,QingStorNeonSAN 可以為K8s、KubeSphere容器平臺提供高性能、可靠性、企業級分布式存儲的能力。
值得注意的是,雖然有了QingStor NeonSAN、KubeSphere容器平臺在軟件層面的支持,但是為了讓容器化環境更加快速落地,青云QingCloud 推出了KubeSphere KF3000容器一體機。KubeSphere KF3000結合了KubeSphere 以及QingStor NeonSAN兩款產品本身的企業級能力,主要性能如下:
此外,青云QingCloud此次還重磅推出了QingStor NF6000分布式全閃存儲一體機。
QingStor NF6000基于標準的x86服務器。看似很平常的硬件配置,通過最小規模的3節點集群,青云QingCloud 可以給到客戶3節點100萬IOPS的性能指標,并且保證時延在0.5毫秒以下。這是QingStor NF6000分布式全閃存儲一體機的能力。這個指標完全是業界主流的中高端全閃陣列性能指標,青云QingCloud 則基于標準的x86服務器、普通的硬件配置、普通的以太網絡,以高性價比的硬件形態提供給用戶,這是QingStor NF6000分布式全閃存儲一體機最大的價值。
除了QingStor NeonSAN 3.0之外,容量和性能兼得的QingStor對象存儲,性能持續提升的QingStor文件存儲,也都從場景能力和性能兩個方面有了重大升級。
筆者注意到,此次青云QingCloud分布式存儲——QingStor全線升級,把場景化作為了一個非常重要的方向,每一個存儲產品都提到了場景化的問題。因為在與客戶溝通過程中,如果一味地講述自己的存儲產品有何功能特點,很難打動客戶,與企業客戶產生共鳴。而站在客戶的角度去思考客戶最關注的,其實最終還是解決業務問題。
QingStor存儲產品的很多功能都是圍繞場景來做,這也與青云QingCloud根據用戶的實際需求來打磨產品的理念是一致的。畢竟在云計算快速成為數字經濟IT新常態的今天,能夠解決實際業務問題,真正的降本增效才是硬道理。
