近期,軟件容器平臺Docker更新了服務條款,禁止被列入美國"實體名單"的國家、企業、個人使用Docker Hub相關服務,并計劃刪除高達4.5PB的用戶鏡像數據。此舉,也進一步了引發了國內企業對于基于開源架構而構建的相關業務的擔憂。而在當前的大環境下,能從零開始自主設計的平臺無疑成為了備受關注的香餑餑,QingStor存儲產品正是這樣的典型代表,其下產品家族產品線在近日迎來了大版本升級,在全面適配國產化生態的同時,也近一步提升了面對多種應用場景下的能力。
獨立設計的專業存儲
目前"自主研發"已經成為了一個社會熱詞,產品是否是自主研發很可能決定了這款產品最終是否能用的穩且久。QingStor全線產品相較于其它產品,一個最大的不同點就在于是從零開始自主設計、自主研發,采用分布式架構方法,完全沒有參考當下開源的存儲架構。而國內多數分布式廠商,一般均基于開源的分布式存儲作為底層做二次封裝和開發。
QingStor存儲產品線研發負責人王煜向媒體介紹了最初選擇自研方向的兩個原因:
首先,青云QingCloud (qingcloud.com)認為目前沒有一款開源存儲能夠滿足企業核心上云過程中對于存儲的嚴格要求。例如,Ceph本身在性能上有很大的弊端,很難承載企業客戶關鍵性的核心業務。HDFS是Google 2006年GFS論文的開源實現,針對互聯網大數據的場景,并不非常通用,單點及擴展性問題都是難題。
其次,青云QingCloud希望作為一家中國企業,能夠為中國客戶提供全棧自主可控的優質產品,從而消除企業對數據安全的顧慮。
對于QingStor家族的四款產品QingStor NeonSAN、QingStor對象存儲、QingStor文件存儲、QingStor融合存儲,青云QingCloud也均獨立進行架構設計和開發,原因就在于企業的存儲場景是非常多樣復雜,對于性能、大容量、高IOPS、高吞吐量的需求各有不同。如果想要通過"銀彈架構"解決所有場景問題,就必然在某一些場景下做出犧牲。而QingStor家族的四款產品則分別專門針對極致性能、海量數據、通用場景、高性價比而設計,可以很好的滿足核心業務、對象存儲、文件存儲、融合存儲的需求。
目前,100%自主設計的QingStor全線產品已經經過了公有云和私有云的共同檢驗,在采用同一套架構的情況下,得到大規模生產環境驗證。在公有云部分,QingStor全線產品已經上線和部署在青云QingCloud的8個公有云區。在私有云部分,QingStor幾乎覆蓋了全部主流的行業,擁有非常多的行業客戶案例,包括銀行、保險、證券、制造、能源、醫療等。
全速升級,全面適配國產化生態
9月2日,QingStor存儲家族四款產品QingStor NeonSAN、QingStor對象存儲、QingStor文件存儲、QingStor融合存儲均迎來了全線升級。
在通用更新中,QingStor將管理平臺Portal升級為3.0版本,主要的升級內容包括:首先,加入了對象存儲的管理,實現存儲后臺的統一管理,可以用同一個管理后臺管理所有存儲產品;其次,加入了豐富的可視化圖形,增強企業運維人員對存儲的理解;第三是增加了硬盤健康狀況預警功能,幫助運維人員在硬盤發生故障之前,提早預測系統內部可能發生的故障。
另外,本次升級的核心重點在于全面適配國產化生態,QingStor把存儲全棧產品線進行國產化。除了軟件架構的部分,底層的芯片和操作系統,也跟很多國產化廠商進行合作和互認證,目前已經完成與鯤鵬、海光、飛騰、浪商、UOS等國產硬件及OS平臺的兼容適配。進而讓企業客戶能夠消除在目前大環境下因國際環境的不確定性所帶來的擔憂。
存儲家族各具亮點
QingStor NeonSAN著重于在云平臺或虛擬化場景中的能力提升,作為一款可以獨立售賣的分布式塊存儲,QingStor NeonSAN 除了可以與QingCloud云平臺形成完美對接,還能對接業界使用較多的虛擬化平臺、云計算平臺,如VMware、OpenStack及Hyper-V。在新的3.0版本中,QingStor NeonSAN可完全兼容VMware vSphere 7.0平臺,還優化了與OpenStack平臺的標準接口。QingStor NeonSAN在3.0版本中還新增了4大功能,分別為異構存儲池支持、卷粒度的QoS、在協議層面的全RDMA互聯、并對業界最主流的NVMeoF協議實現支持。
為了幫助企業級用戶快速落地容器平臺,青云QingCloud推出了容器一體機KF3000,結合KubeSphere以QingStor NeonSAN兩款產品本身的企業級能力,意在打造成為云原生基礎設施的新標桿,加速容器化環境生產落地。KF3000并非功能模塊上的簡單拼湊,而是通過大量深層優化而具有的整體性產品,擁有大幅領先的性能指標,在具體場景下,批量創建100個pod以及pv卷的時間僅為70秒,通過FIO工具,單pod可提供10萬以上的IOPS,時延只有0.17ms。
青云QingCloud還重磅推出了QingStor NF6000分布式全閃存儲一體機。可實現3節點100萬IOPS的性能指標,時延可保持在0.5ms以下。但其硬件上僅僅是相對普通的標準x86服務器及配置,這也讓產品具備了高性價比的屬性。實現這一性能指標的背后秘密在于QingStor NeonSAN是專門為全閃設計的軟件棧,軟硬件匹配度高,達到最優參數設定。另外還充分發揮了NVMe SSD的性能。
QingStor對象存儲實現了"魚和熊掌"的兼得,兼顧存儲海量數據和數據存儲的超高性能。在3.0版本中帶來的新能力主要涉及兩部分,意在服務更多數據場景,且在性能上保持領先。為用戶的業務場景帶來了四個新功能:對象版本控制、數據的追加寫入、數據跨區域復制與官方生態工具,可對數據遷移、數據保護、數據備份及AI與視頻監控這四種場景提供最優解決方案,徹底打通視頻影像數據的生命周期,從海量數據存儲到數據分析處理、再到數據歸檔。
QingStor文件存儲旨在打造一款在云計算基礎架構下更加通用的文件存儲產品,可通過這款產品幫助更多類型的應用平滑上云,享受到更好的云計算基礎設施帶來的便利。設計之初的目標就在于要在支持通用文件接口和通用的網絡文件協議的前提下,提供一個可擴展高可用的分布式文件存儲系統,從而大大擴展使用場景。于是,也專門自研了整個文件系統棧,不依賴于本地文件系統,來搭建一個真正意義上的統一命名空間。允許多個邏輯接入節點, 可以同時訪問和操作相同的數據,天然具有高可用的能力。在這樣的架構下, 每一個目錄可以承載的容量和和文件數量都沒有限制。而由于每個目錄下的內容可以通過多個接入節點同時訪問,這也讓處理能力有了水平擴展性。
QingStor文件存儲在2.0版本局部架構優化后,可讓Cache的命中率顯著提高,總體占用內存資源更少。還增加了智能的I/O路由了邏輯,可減少針對同一文件的跨節點并發寫沖突,且Failover過程更加平滑。
另外,QingStor文件存儲還選擇了新貴 Rust 語言作為系統開發編程語言,進而帶來了新版本性能的大幅提升,單客戶端4k隨機讀寫IOPS提高了200%以上,64k順序讀寫吞吐可提高100%。