在分布式存儲領域,QingStor已經有了近十年的技術積累。在一路演進的過程中,QingStor已經可以提供云原生時代的全棧存儲服務。
“現在存儲的服務化趨勢越來越明顯,開發者甚至不需要了解太多存儲的特性,只需要描述需求,就可以通過QingStor的提供的API使用存儲服務。這種服務化已經不僅僅局限在對象存儲,塊存儲和文件存儲也可以以這種方式實現交付,這就是云原生的帶來的最大變化”。青云科技QingStor存儲平臺總監王煜分析說。
如果把數據中心看作是一臺PC,那么QingStor分布式存儲就是里面的硬盤。
讓存儲天然生長在云上可能是QingStor與我們熟知的傳統存儲品牌最大的不同。
王煜在采訪中也表示,我們一方面不相信硬件完全可靠,又要讓硬件充分發揮出它的性能,所以就需要用軟件去彌補這一反差,如何找到這個平衡點正是我們架構設計的出發點。
如王煜所說,QingStor為了提供云原生時代的全棧存儲服務,設計了兩套引擎。一套是就是之前推出的軟件定義分布式SAN存儲系統——NeonSAN,另一套就是即將發布的自研的云原生分布式文件系統——HydroFS。
日前,QingStor宣布要全面擁抱云原生,并面向云原生存儲需求,重磅推出專為云原生發布的塊存儲產品——NeonIO,以及自研的云原生分布式文件系統——HydroFS。
除了重磅新品發布,QingStor 塊存儲、對象存儲、文件存儲三款主力產品全面升級到v4.0,打造更大規模、更高性能、功能豐富的企業級分布式存儲。
同時,青云科技也宣布全面開啟開源之旅:HydroFS 全面開源,推動建立 BeyondStorage 開源社區打造跨多云數據存儲服務。
NeonIO:專為云原生設計的塊存儲
這次新發布的NeonIO 是專為云原生設計的塊存儲產品,全面兼容主流容器平臺,如 KubeSphere、OpenShift等等,通過完整實現 CSI 容器存儲接口,實現在容器平臺上支持卷動態置備、創建、銷毀、快照等存儲功能。除提供 CSI 接口外,NeonIO 也更適應云原生的架構設計理念,實現了全棧存儲組件的容器化部署,實現平臺無關,可運行在國產操作系統和 ARM 架構平臺,與云原生應用融合部署運行。在架構設計過程中,NeonIO 也盡量最大化利用 k8s 集群本身的健康檢查、選主機制、任務隊列、日志收集、配置保存等能力。
NeonIO 還通過 Operator 機制實現了自動化部署和擴容能力,更匹配云原生應用的安裝部署習慣。
事實上,NeonIO 并非完全意義上的全新產品,其在架構設計上汲取了 NeonSAN 的優勢,以及經歷了多年企業生產環境驗證,能夠充分保障產品的高性能、高可靠性。如 NeonIO 繼承了 NeonSAN 短 IO 路徑的優勢,實現從邏輯上的卷到物理硬盤的直接映射,中間不存在本地文件系統的額外開銷。
NeonIO 已在上半年發布了內部測試版本,也將在下季度正式發布社區版,可通過 GitHub 等開源社區下載安裝。
HydroFS:自研的云原生分布式文件系統
Hydro 的本意是水利發電,如果把數據比作海洋或湖泊,那么青云希望HydroFS 能真正成為企業數據的基礎設施,從而最大化挖掘數據價值。
HydroFS 將成為 QingStor 企業級存儲產品的全新存儲引擎,但并不僅限于此,HydroFS 作為領先的分布式文件系統架構,可以脫離 QingStor 獨立部署和使用。HydroFS 可以通過 CSI 接口為云原生應用提供全場景的存儲服務,支持在 k8s 平臺進行部署和運維,也支持 FUSE/HDFS 接口協議,可作為大數據系統的底層存儲,無縫替換 HDFS。
在架構設計上,HydroFS 擁有很多獨特的優勢,如極短的 IO 路徑、高吞吐能力、實現分布式元數據層,以及在靈活性上滿足多租戶、多場景個性化配置需求,并且創新性的采用 Rust 編程語言,有效提升系統安全和 IO 處理效率。
開源社區打造跨多云數據存儲服務
如前文所說,QingStor 將全面擁抱開源社區,并希望通過開源社區拉近產品與開發者之間的距離,從而更好、更快的迭代產品,更希望 QingStor 的開源項目能夠對接更貼近用戶的軟件生態,進而深度賦能更廣泛的應用場景。
為實現上述目標,QingStor 制定了詳細的開源計劃。首先,QingStor 在跨云數據遷移、對象存儲管理等領域開源了 qsctl、qscamel、qsftpd 等一系列相關工具。而后,QingStor 將在今年第三季度將云原生分布式文件系統 HydroFS 全面開源。最后,QingStor 將嘗試建立并維護一個中立的開源存儲生態。
自 2021 年開始,QingStor 牽頭建立了一個廠商中立的開源存儲社區——BeyondStorage,這是一個專注于提供跨云數據服務的開源社區,社區現有 40 余個開源項目。在整個社區的生態架構層面,QingStor 首先實現了一個廠商中立的存儲開發庫——go-Storage,對下可通過插件機制對接來自于不同廠商的云存儲服務,對上則提供了一個完全統一的應用開發接口,所以通過 go-Storage 進行開發的應用都可以無縫對接下層的存儲服務。
如何根據業務特性選擇分布式存儲解決方案,又如何基于分布式存儲實現大數據的統一操作管理、更好支持上層應用乃至敏捷業務創新,是當前企業最為關注的問題。NeonSAN是QingStor面向云時代企業關鍵業務的軟件定義分布式 SAN存儲系統,它與新發布的NeonIO 和HydroFS形成了完整的組合,也讓不同需求的企業用戶有了對應的選擇。
讓存儲生長在云上,并不是簡單的容器部署,而是使用云原生的能力解決復雜性,QingStor希望可以做到直達開發者,讓交付更靈活更快捷。