近幾年,企業級存儲市場上,正在經歷著重大的變化。一方面,分布式存儲正在經歷快速的增長時期。IDC 2019年市場預測報告顯示,無論是對象存儲、文件存儲還是塊存儲,在未來幾年里都會保持兩位數高速增長。另一方面,IDC市場報告顯示,全閃存儲在所有采用存儲的企業里,幾乎已經占80%的使用率。全閃存儲逐漸成為主流。
面對存儲市場的變化,各家云廠商都在積極應對。青云QingCloud (qingcloud.com)從12年推出云產品開始在底層存儲上就以自研的方式進行,經過8年磨礪,積累了大量云環境下的存儲的需求和技術實踐,由此推出的QingStor產品家族,目前包含QingStor NeonSAN(分布式塊存儲)、QingStor對象存儲、QingStor文件存儲、QingStor融合存儲等四款產品。
QingStor存儲產品線研發負責人王煜
向云而生的存儲
目前,QingStor四款家族產品是青云QingCloud最基礎存儲支撐,包括公有云和私有云。此外,作為底層存儲引擎,QingStor能夠與多種平臺對接,包括VMware虛擬化平臺、OpenStack云平臺,還包括Kubernetes容器平臺。由此可見,QingStor就是向云而生的產品。
目前,QingStor的產品家族已經積累了數萬家企業客戶,同時部署在公有云和私有云。公有云方面,QingStor全線產品已經上線和部署在青云QingCloud的8個公有云區。在私有云部分,QingStor幾乎覆蓋了全部主流的行業,擁有非常多的行業客戶案例,包括銀行、保險、證券、制造、能源、醫療等。
特別值得一提的是,QingStor無論是在公有云,還是在私有云的部署上都是采用同一套架構,以及同一套代碼實現,保證產品的一致性,更有利于用戶產品的打通。可以看出,作為青云QingCloud存儲的基礎,QingStor全線產品經過了公有云和私有云共同的檢驗,并且在大規模生產環境中得到了使用。
QingStor從產生之初,就走上了自主設計、自主研發的道路。特別是在架構設計上,完全采用自主設計,放棄了大多數廠商選擇的開源之路,在我看來,這也是QingStor能夠在公有云和私有云實現統一架構的最主要原因。
據QingStor存儲產品線研發負責人王煜介紹,QingStor四款產品在考慮實際的使用基礎上,都采用了獨立的架構設計方法。他特別強調表示,企業存儲場景的多樣性和復雜性,就代表著不能通過一套架構滿足所有需求,而"銀彈架構"的模式,必然會對某些應用場景做出妥協,最終造成存儲性能缺失,所以QingStor也因場景需求分為為熱數據、冷數據、溫數據以及混合場景。
而最近,QingStor正在進行新一輪的版本迭代,筆者有幸獲得其中一些消息分享給讀者。
QingStor NeonSAN 3.0
QingStor NeonSAN在設計之初,就希望打造成一款擁有極致性能的分布式存儲產品。而在設計上,采用縮短I/O路徑棧,去掉本地文件系統,提高協議轉換效率等方法,使其擁有了更為優秀的性能。目前,QingStor NeonSAN已經迭代到3.0版本。而QingStor NeonSAN產品線的迭代,完全圍繞著核心場景來打造產品能力,具體表現在云平臺/虛擬化場景、大數據場景、業務連續性場景以及最近這兩年非常火的容器/云原生場景四個核心場景。
第一,QingStor NeonSAN除了可以與QingCloud云平臺形成完美的對接、實現云平臺層面的統一管理和性能的最大優化之外,還能很好地對接目前大家在業界使用比較多的虛擬化平臺、云計算平臺,如VMware平臺、OpenStack平臺、Hyper-V平臺。
QingStor存儲產品線產品經理馮相東
第二,針對大數據應用常用處理框架Hadoop和Spark,以及一些常用大數據系統所采用的底層HDFS文件系統。QingStor NeonSAN專門做了一些設計,比如提供互斥卷組的策略,即在QingStor NeonSAN層面提供多個單副本的卷。另外,在和HDFS文件系統的對接上,QingStor NeonSAN在性能方面也做了優化。
第三,針對業務連續的問題,青云QingCloud還提供了一整套基于QingStor NeonSAN的、以存儲為核心能力的業務連續性解決方案。特別在簡化管理方面,QingStor NeonSAN能夠跟青云QingCloud云平臺一起,統一管理云平臺上的計算資源、網絡資源、存儲資源,提供一整套完整的業務連續性管理的解決方案,滿足業務對不同RPO/RTO的要求,大大地簡化業務連續性的管理,提高業務連續性的效率。
第四,在功能層面,QingStor NeonSAN提供標準CSI插件,支持與容器卷粒度的管理,以及快照、克隆、在線擴容、QoS等存儲高級特性。在性能層面,QingStor NeonSAN可以在整條鏈路支持端到端RDMA的訪問。基于高效率協議的支持,QingStor NeonSAN可以保證容器端應用訪問存儲的時延控制在微秒級別,基本是0.1-0.3毫秒訪問時延的水平。整體上,QingStor NeonSAN可以為K8s、KubeSphere容器平臺提供高性能、可靠性、企業級分布式存儲的能力。
QingStor對象存儲3.0
對象存儲是主要解決非結構化數據存儲的問題,如海量圖片、音視頻、日志、歸檔備份等。這些數據讀取的頻率并不是特別高,通常是一次寫入、多次讀取的模型。但是其數據容量、數據數量都是非常大的。因此QingStor對象存儲設計的核心是承載海量的數據。在整個架構設計時,采用了完全Share-Nothing的架構,沒有任何單點,每一個組件都是可以無限水平擴展,并且保證性能不會下降。特別是新推出的QingStor對象存儲3.0更是一款魚和熊掌兼得的存儲服務,兼得海量數據存儲和數據存儲的超高性能。
QingStor對象存儲3.0,在對象版本控制、數據追加寫入、數據跨區域復制,以及生態工具四個功能上有所提升。此外新版本還具有新的能力的變化,一方面QingStor對象存儲3.0具有更強的、更具優勢的存儲性能。另一方面QingStor對象存儲3.0可以服務于更多的數據應用場景,如數據遷移、數據保護、數據備份、AI視頻監控。
QingStor對象存儲產品經理賈斌
具體而言,首先,QingStor對象存儲3.0中帶來了數據跨區域復制,和全新重構的官方工具qsctl和qscamel。通過這些新功能和工具組合的方案,能夠做到數據遷移中,對跨平臺及復雜場景的全覆蓋,這套解決方案是可視化的操作和服務,讓用戶可以非常簡單快捷的進行操作。
其次,QingStor對象存儲3.0所擁有的版本控制功能,實現了存儲桶(Bucket)內數據的歷史版本存儲和管理,解決了企業級用戶對數據保護的新需求,例如意外刪除、意外覆蓋、惡意篡改等極端情況。
另外,QingStor對象存儲基于通用的X86硬件,以及標準的API接口,可以友好地對接SaaS備份應用,對存儲采購成本和運維管理更有利。QingStor對象存儲3.0實現了與更多主流廠商做深度兼容,使得數據備份更加簡單和易用。
最后,QingStor對象存儲3.0帶來的新特性有數據追加寫入的接口、為智能終端定制的SDK,以及混合云存儲的解決方案,在QingStor對象存儲里,徹底打通視頻影像數據的生命周期,從海量數據存儲到數據分析處理,到數據歸檔。通過SDK讓智能終端直接寫數據到對象存儲,簡化了端到存儲的流程。平滑對接外部數據AI分析引擎,如數據深度分析、圖像識別、機器學習等應用。
QingStor文件存儲2.0
青云QingCloud力求打造云計算架構下的,通用的文件存儲產品,由此必須在產品上實現擁有通用的標準文件接口,擁有多層次的擴展性,可以同時適配差異化的文件存儲需求,這三個重要的能力。為此,QingStor文件存儲系統就以此為出發點。
通用的文件接口(posix),是操作系統原生的接口,不需要另行改造就可以使用的接口,而QingStor文件存儲2.0使用posix接口,可以有效的降低企業因存儲接口兼容性出現的問題。譬如,以HDFS為代表的專用文件系統,這些文件系統僅支持部分標準接口,比如僅支持順序寫,不支持隨機修改等等。
QingStor文件存儲研發負責人黃蒙
QingStor文件存儲研發負責人黃蒙介紹表示,QingStor文件存儲的設計目標就是要在支持通用文件接口和通用的網絡文件協議的前提下,提供一個可擴展高可用的分布式文件存儲系統,這就直接擴大了產品的使用場景。
QingStor文件存儲的架構中,青云QingCloud自研了整個文件系統棧,不依賴本地文件系統,搭建了一個真正意義上的統一命名空間。由于允許多個邏輯接入節點,可以同時訪問和操作相同的數據,天然具有高可用的能力。在這一架構下, 每一個目錄可以承載的容量和文件數量都沒有限制。此外,由于每個目錄下的內容可以通過多個接入節點同時訪問,也使處理能力有了水平擴展性。
另外,為更好的同時支撐不同的業務,QingStor文件存儲支持為每一個創建的租戶文件系統提供差異化的設置,比如選擇副本數,甚至選擇文件數據塊大小。
值得一提的是,QingStor文件存儲2.0采用了Rust語言作為存儲系統開發語言,這也給QingStor文件存儲帶來極大的性能提升。譬如,單個nfs client的fio性能測試數據,其中4k隨機讀寫IOPS提高了200%以上,64k的順序讀寫也有大約1倍的提升,效果非常顯著。
黃蒙表示,QingStor文件存儲旨在打造一款在云計算基礎架構下更加通用的文件存儲產品,我們希望能通過這款產品幫助更多類型的應用更平滑上云,享受到更好的云計算基礎設施帶來的便利。