"企業的存儲場景是非常多樣和復雜的,不存在一種架構設計能夠完全滿足所有存儲場景。有些場景需要極致性能,有些需要大容量,有些需要高IOPS,有些需要高吞吐,有些則需要通用接口。"
QingStor 存儲產品線研發負責人王煜
在以"八年鍛造,為云而生"為主題的QingStor 分布式存儲全速升級發布會上,QingStor 存儲產品線研發負責人王煜這樣闡述青云QingCloud (qingcloud.com)對企業級存儲需求的理解。
八年鍛造的QingStor分布式存儲家族
毋庸置疑的是,近十年來,伴隨著移動互聯網、云計算、大數據、5G、人工智能等技術的發展,企業級存儲市場正發生著深刻變革。
首先自然是分布式存儲的快速增長。如今企業內部分布式存儲部署的占比越來越高,某些企業分布式存儲的部署占比甚至超過了傳統存儲。IDC 2019年發布的相關市場預測報告也顯示,無論是對象存儲、文件存儲還是塊存儲,未來幾年里仍將保持兩位數高速增長。
其次便是全閃存逐漸成為主流。受益于全閃介質成本的不斷降低,全閃存越來越受到企業客戶的追捧。"我們私下做過一個計算,按照IOPS這一存儲關鍵性能指標計算,全閃存每單位IOPS對應的價格與傳統機械硬盤價格不相上下,這是企業采用全閃存儲最主要的驅動力。" 王煜說。同樣引用IDC的數據來看這一趨勢:在所有采用存儲設施的企業中,全閃存已達到80%的使用率,且未來仍將以50%的年均增速高速增長。
最后便是數據冷熱的層級愈發分明。隨著熱數據、溫數據、冷數據界限越來越分明,根據數據應用頻率,選擇將其存儲于不同種類存儲設施中,既有利于企業更好地使用數據,輸出洞察,又可節省存儲成本。
這也是八年來,QingStor分布式存儲家族一直致力的事——為不同業務場景,不同需求提供相應企業級存儲產品,分別為:為極致性能、熱數據設計的QingStor NeonSAN分布式塊存儲;為海量非結構化數據設計的QingStor對象存儲;為通用場景設計的QingStor文件存儲;為高性價比、一套架構提供多種接口的QingStor融合存儲。
圍繞實際場景,全線升級
本次會上,QingStor存儲家族也迎來了全線升級:包括QingStor NeonSAN 3.0、QingStor 對象存儲 3.0、QingStor 文件存儲 2.0 以及管理平臺 Portal 3.0。同時,青云QingCloud也推出容器存儲一體機 KubeSphere KF3000 和分布式全閃存儲一體機 QingStor NF6000 兩大新品。具體來看此次升級:
QingStor NeonSAN 3.0從場景能力和功能兩大方面進行提升。在場景能力方面,QingStor NeonSAN 針對云平臺/虛擬化場景、大數據場景、業務連續性場景以及容器/云原生四個主要核心場景進行能力升級,如圍繞云平臺/虛擬化場景新增兼容平臺 VMware vSphere 7.0、Hyper-v、Hadoop 等提供新的特性;圍繞大數據場景提高存儲使用效率和大數據應用能力;圍繞業務連續性場景提供整套完整解決方案,提高資源管理能力,簡化管理難度等。
在功能方面,QingStor NeonSAN 3.0 版本新增了四大功能,包括支持異構存儲池以及NVMe-oF 協議、卷粒度的QoS、在協議層面的全 RDMA 互聯。
QingStor 對象存儲 3.0:新增對象版本控制、數據的追加寫入、數據跨區域復制等新功能,提升在數據遷移、數據保護、數據備份和AI與視頻監控方面的能力,以實現在海量數據存儲能力、整體超高性能、存儲系統開放能力三方向上重點突破,如:500 并發下的 128k 文件讀性能可達 41957 OP/s,單存儲桶(Bucket)對象數量超百億時,性能仍保持穩定。
QingStor 文件存儲 2.0:在系統架構層面持續升級,增加智能 I/O 邏輯,并通過采用更加安全、高效的系統級開發語言 Rust 重構核心模塊,提升性能,如單客戶端 4k 隨機讀寫提高超過 200%,單客戶端 64k 順序讀寫吞吐提高 100%。
管理平臺Portal 3.0:加入對象存儲管理,實現全線存儲的統一;加入創新的圖形元素,增強企業運維人員對存儲的理解;增加硬盤健康狀況預警功能,幫助運維人員在硬盤發生故障之前,提早預測系統內部可能發生的故障。
KubeSphere KF3000 容器一體機和QingStor NF6000分布式全閃存儲一體機則分別旨在幫助企業級用戶快速落地容器平臺以及實現高性能全閃的普惠。
在此可重點關注KubeSphere KF3000 容器一體機。的確,容器技術的出現便是要盡可能的簡化開發者和運維者。青云QingCloud認為,如果只是把目前國內第一款開源容器平臺KubeSphere以及業界領先的分布式塊存儲QingStor NeonSAN簡單拼湊提供給企業,企業還需要做大量配置的工作,在落地生產上也要再做優化。這和容器平臺的理念是相悖的。
因此,KubeSphere KF3000一定是KubeSphere 容器平臺與 QingStor NeonSAN 的強強聯合。其經過代碼級的深度整合、軟硬件一體化調優,是一款一站式的商用交付方案,可以提供集底層基礎資源到上層容器調度開發平臺于一體的、開箱即用的完整商用級服務。由于核心組件經過規模化的生產驗證,KubeSphere KF3000具有極強的可靠性,在性能指標上也處于業界領先水平。
如KubeSphere KF3000一樣,青云QingCloud希望的是QingStor存儲家族能真正解決企業在數字化應用中的痛點、難點。一個QingStor對象存儲的典型案例:
在5G、物聯網及人工智能的推動下,自動駕駛已成為行業熱門。但對自動駕駛而言,要將每天采集到的上百TB原始數據在短時間內做深度分析、輸出結果,然后形成一套可靠的模型框架和數據服務。這無疑是一個對存儲要求很高的業務場景,因為其涵蓋了海量數據存儲、數據高并發處理要求,以及對接多個數據處理平臺,如GPU深度學習、采集平臺。
憑借著性能、標準開放的應用接口等特性,QingStor對象存儲 3.0與傳統存儲相比不僅體現了成本優勢,還兼具著靈活部署、運維簡單等隱性成本,這使得QingStor對象存儲 3.0很好地勝任了客戶需求。目前,該對象存儲已經存儲了超過 10PB 的數據。在業務初期,QingStor對象存儲也處理了跨云、跨區的大量存量數據遷移問題。
100%自研基因,為全棧自主可控助力
當然,談分布式存儲如果不談底層架構,無異是一種外行行為。當前,市面上基于Ceph、HDFS等主流開源分布式存儲架構作為底層做二次封裝、開發的產品并不在少數。
但QingStor選擇了截然不同的方式。"QingStor 分布式存儲產品從架構設計到產品開發,完全采用 100 %自主設計、自主研發,從零開始構建而成。" 王煜說。
在王煜看來,自研無疑一條艱難的路,但青云QingCloud堅持走這條路,無外乎兩點:一是企業核心業務上云,對存儲的要求非常嚴格。這個嚴格不止像傳統存儲對性能、穩定性的要求這么簡單,更多是在云計算復雜場景下對于安全性、隔離性、大規模水平擴展能力的要求。"市面上很多主流的開源存儲,沒有一款能夠完全滿足上述所有要求。"
二是作為一家中國企業,青云QingCloud希望能夠為中國客戶提供全棧自主可控的優質產品,從而消除企業對數據安全的顧慮。
也因此,截至目前,QingStor 分布式存儲已經全面適配國產化軟硬件平臺,完成與鯤鵬、飛騰、中科海光、浪潮 OpenPower 等國產芯片的兼容適配測試,實現對統信 UOS、麒麟、歐拉等主要國產操作系統的兼容對接,從軟件架構、底層芯片到操作系統,全面實現和國產化廠商的兼容、互認證,構建起國產化生態。