青云QingCloud (qingcloud.com)一直是比較“重”的云計算獨角獸,很多核心技術都堅持自主研發、自主可控,存儲也不例外。
從2012年推出第一個版本的云計算產品開始,青云QingCloud 旗下QingStor 分布式存儲產品從架構設計到產品開發,完全采用 100 %自主設計、自主研發,從零開始構建而成。八年后,QingStor 分布式存儲產品線日益完善,可以支撐市面上幾乎全部主流云計算平臺,應對企業對存儲產品極致性能、大容量、高 IOPS、高吞吐及通用接口等多種復雜需求。
2020年9月2日,QingStor舉行年度新品發布會,旗下NeonSAN、對象存儲、文件存儲和融合存儲四款產品全面升級,并推出容器存儲一體機 KubeSphere KF3000 和分布式全閃存儲一體機 QingStor NF6000 兩大新品。
企業級存儲有哪些新的發展趨勢?新一代QingStor產品有哪些技術創新?當很多廠商選擇基于開源存儲平臺Ceph做二次開發時,青云QingCloud為什么要走從零開始自研這條艱難的路?近日,「智能進化論」采訪了QingStor研發團隊。
熱、冷、溫、混合數據,四大場景產品全面升級
過去十年,企業級存儲市場發生了巨大變革。云計算、移動互聯網、大數據、5G、AIoT等新興應用場景對存儲不斷提出新的需求。
QingStor 存儲產品線研發負責人王煜認為,企業級存儲市場的發展有兩大趨勢:
第一,分布式存儲仍處在爆發增長期。IDC報告顯示,無論是對象存儲、文件存儲還是塊存儲,在未來幾年里都會保持兩位數高速增長;
第二,隨著SSD全閃介質成本快速下降,全閃存儲逐漸成為主流。IDC報告顯示,全閃存儲在所有采用存儲的企業里已經占80%的使用率。而且今后幾年每年都會保持50%的年均增速。
QingStor 存儲產品線研發負責人 王煜
當企業的存儲場景越來越多樣和復雜,沒有任何一種存儲方案能夠完全滿足所有存儲場景。有些場景需要極致性能,有些需要大容量,有些需要高IOPS,有些需要高吞吐,有些則需要通用的接口。
青云QingCloud把存儲場景分為熱數據、冷數據、溫數據以及混合場景四大類。QingStor的四個產品分別針對四大場景開發:面向企業核心業務數據的塊存儲;面向海量靜態數據、適合非結構化數據的對象存儲;面向通用場景的文件存儲;以及兼顧多種存儲場景的融合存儲。
分布式塊存儲QingStor NeonSAN是面向企業關鍵業務與核心數據的性能擔當。能否穩定運行Oracle RAC集群數據庫是對高端存儲性能的一個考驗。此前只有傳統存儲才能做到。QingStor NeonSAN是第一款也是唯一一款能夠支持Oracle RAC的分布式存儲產品。
而且在兼容性方面,QingStor NeonSAN可以對接VMware、OpenStack、Hyper-V等主流的虛擬化或云計算平臺。同時,面對日益普及的云原生環境,QingStor NeonSAN可以為K8s、KubeSphere容器平臺提供高性能、可靠性、企業級分布式存儲的能力。
根據IDC最新的研究報告,目前全球數據總量已達50ZB(約等于1萬億GB),其中非結構數據占到80%。對象存儲正是管理快速增長的非結構化數據的最佳選擇。QingStor 對象存儲 3.0 是一款魚和熊掌兼得的存儲服務,兼得海量數據存儲和數據存儲的超高性能。3.0版本新增了數據遷移、數據保護、數據備份、AI視頻監控等更多場景。性能方面,當單存儲桶(Bucket)對象數量超百億時,QingStor 對象存儲性能仍可保持穩定,在業界處于領先地位。
文件存儲是最古老且運用最廣泛的一種數據存儲方式。全新升級的QingStor文件存儲通過自研整個文件系統棧,搭建統一命名空間,讓文件存儲擺脫了本地文件系統的限制。每一個目錄支持多個接入節點同時訪問,在容量和和文件數量上沒有限制,讓處理能力有了水平擴展。
QingStor融合存儲滿足的是企業一次采購就能獲得多種存儲類型和存儲接口的需求。它將上面三款專業存儲在部署層面上做了整合,但是在架構層面上依然保持每一個專業存儲本身的架構特點,以及完整的功能和性能。
開源VS自研,真正的創新源自最難走的路
目前,很多國內存儲廠商在技術路線上,會選擇基于Ceph這樣的開源分布式存儲平臺作為底層進行二次封裝和二次開發。青云QingCloud為什么要選擇100%自研這條非常艱難的路?王煜表示,主要基于兩點:
第一, 企業核心業務上云對于安全性、隔離性、大規模水平擴展能力都有很高的要求,開源分布式存儲產品很難全面滿足這些要求。通過對Ceph性能的嚴格測試,以及對大量企業客戶的調研,QingStor研發團隊認為,Ceph最根本的邏輯是期望通過一套解決方案滿足所有的需求,這對具有高專業性的存儲業務不太適用。
“如何快速開發分布式存儲的企業級產品,Ceph給企業提供了很好的平臺。但是如果在底層技術研發上沒有積累,后面的發展會比較危險。這也是為什么我們很難在企業核心業務場景里看到Ceph的身影,比如高性能數據庫等場景。更多是用在新興場景,對象存儲的接口等。”
第二, 自研可以為中國客戶提供全棧自主可控的優質產品,從而消除企業對數據安全的顧慮。目前,從軟件架構、底層芯片到操作系統,QingStor 已經全面實現和國產化廠商的兼容、互認證,構建起國產化生態。目前QingStor已完成與鯤鵬、飛騰、中科海光、浪潮 OpenPower 等國產芯片的兼容適配測試,實現對統信 UOS、麒麟、歐拉等主要國產操作系統的兼容對接。
正是自研讓青云QingCloud在存儲領域獲得了一些行業領先的新技術。比如,在QingStor NeonSAN 3.0版本里推出NVMe over RoCE的技術,簡稱為NVMeoF,實現客戶端訪問存儲的新協議。在文件存儲中,QingStor 已經用到現在業界最先進的、非常適合底層存儲編碼的Rust語言。用Rust語言開發存儲系統正在成為一種行業趨勢,AWS無服務器服務、Dropbox的核心存儲系統、Facebook區塊鏈項目Libra都已支持Rust語言。
強化場景化能力,做能解決業務問題的存儲
除了技術、性能、功能上的全面提升,場景化能力也是本次QingStor年度升級的重磅內容。
一方面,QingStor 產品更加注重與上層應用開發合作伙伴的無縫對接。“我們新版本發布的非常重要的一個方向就是場景化能力的加強,幫助存儲行業上層的ISV廠商,更容易基于我們的產品來開發上層應用。”王煜表示。
KubeSphere KF3000 容器一體機,就是為幫助企業用戶優化落地容器平臺的生產環境而推出。QingStor 存儲產品線產品經理馮相東介紹,“如果青云QingCloud 只是把目前在國內第一款開源容器平臺 KubeSphere,以及在業界領先的分布式塊存儲 QingStor NeonSAN 提供給企業,企業還需要做大量配置的工作,在落地生產上也要再做優化。”
QingStor存儲產品線產品經理 馮相東
另一方面,QingStor讓存儲產品更落地場景,旨在幫企業直接解決業務問題,而不僅僅是增強IT能力。比如,在AI視頻監控場景下,QingStor對象存儲徹底打通視頻影像數據的生命周期,讓企業輕松管理從海量數據存儲到數據分析處理,到數據歸檔的流程。通過SDK讓智能終端直接寫數據到對象存儲,簡化了端到存儲的流程,并平滑對接外部數據AI分析引擎。
自動駕駛是一個典型的對象存儲商業場景,企業每天采集到的原始數據量級達到上百TB。在某自動駕駛客戶的案例中,QingStor對象存儲因其超高的性能,標準開放的應用接口、靈活部署、運維簡單等優勢滿足了客戶需求。目前,QingStor對象存儲已經為該客戶存儲了超過 10PB 的數據。在業務初期,還解決了跨云跨區海量數據遷移的難題。
寫在最后
技術路線的選擇與企業的價值觀息息相關。在低成本快速開發產品與沉下心自研提供最高階的品質之間,青云QingCloud選擇了后者。
經過 8 年鍛造,100%自主設計和研發,為云而生的QingStor 分布式存儲,不僅是青云QingCloud自身全部云產品的底層支撐,也已經被數萬企業客戶大規模驗證。