在數字時代,數據成為新的生產資料,重要性不言而喻。圍繞數字化,國家在政策層面持續發力,包括“十四五”規劃到 2035 年的遠景目標多次提到“數字化”的概念,加快推動數字產業化,以及最新公布的“東數西算”重大工程,這些都與數據存儲息息相關。
青云科技存儲產品總監馮相東告訴記者,青云將場景和算力的變化視為這些年推動整個存儲產業、存儲形態往前發展最主要的兩個因素。“新應用層出不窮,隨之不斷產生新的數據形態。同時,計算形態的演變對存儲提出的要求也在發生變化。”
在場景和算力推動整個存儲形態往前變革的基礎上,如何讓數據更好地流動起來,成為企業關注的焦點。馮相東說,在數據流動的完整鏈條里,從最初的采集、處理到后面的歸檔、再利用、銷毀,都會涉及到存儲與大數據技術、存儲與AI計算技術的結合,這能讓數據更高效地被捕獲、被索引、被分析和被加工,從而實現數據層面的點石成金。這也是青云存儲這些年一直在努力研究的一個方向。
青云存儲的特色:專業、自研
迎接數字中國的到來,青云存儲做足了工作。馮相東表示,青云存儲的核心特點可以概括為專業、自研。青云存儲產品線QingStor的特點是更懂算力的存儲平臺。過去10年間,整個青云存儲積淀了多種平臺下,算力和存儲結合的技術實踐,從而在這些實踐基礎上,幫助客戶快速解鎖數據的潛能。
專業存儲服務專業場景。QingStor 產品線主要有兩款核心產品構成:一是 QingStor NeonSAN,二是QingStor U10000。
其中,作為一款分布式塊存儲,QingStor NeonSAN設計原則是為I/O極致性能而設計,面向的場景是云盤、數據庫以及虛擬化存儲資源池場景的應用。
NeonSAN最短的I/O時延可以控制在50微秒左右;只需要3臺NeonSAN節點,就可以實現100萬IOPS的業務支持。并且青云存儲已經在金融行業多個企業客戶內具有多年穩定運行Oracle RAC集群的實踐經驗積累。
相比于NeonSAN主要面向的數據庫、虛擬化等結構化數據而言,U10000主要面向非結構化數據的場景,包括各種影像數據、音視頻數據、數據湖、大數據、物聯網等。U10000幫助客戶更好實現海量數據的價值挖掘,產品的核心特點包括:同時提供對象、文件、大數據接口,不同協議之間實現數據無損訪問互通;單存儲桶支持100多億個對象,并且性能不會隨之下降。
“兩款產品有各自面向的專業場景,有各自專業的分工,我們沒有用一種架構同時滿足結構化和非結構化的數據場景。因為從專業技術的視角來看,存儲架構是沒有銀彈的,沒有哪一種架構能同時做到既能滿足極致的性能設計要求,也能滿足海量數據吞吐、計算、并發利用的需求,這樣的結構是不存在的。青云希望通過專業的存儲分工能更好地服務專業的場景。”馮相東說。
青云存儲產品線的另一個重要特點就是真正自研的中國存儲。青云存儲QingStor的兩款核心產品:QingStor NeonSAN和QingStor U10000全部是自主設計,沒有繼承任何開源的架構,不存在任何知識產權的風險。
馮相東表示,為什么青云存儲會走上自研道路?這一方面是來自于青云對技術的追求,另一方面是作為中國云計算公司,青云希望以真正自研的中國存儲服務于數字中國。“同時,基于開源方案的產品開發商業存儲,往往會有很多問題,比如性能表現不佳、開源項目的管制風險等。”
正是基于這些考慮,青云存儲自主研發使得技術百分百可控,不存在技術盲區。青云存儲也匹配了一系列的國產化生態,包括從底層的國產芯片、OS、上層PaaS以及SaaS應用,包括鯤鵬、飛騰、海光等目前主流的國產硬件平臺,還有麒麟軟件、統信、openEuler等國產操作系統,青云已實現完整的國產化兼容。
青云存儲QingStor U10000全面升級
對于青云的存儲產品,我們并不陌生,比如QingStor塊存儲 NeonSAN、QingStor對象存儲、QingStor文件存儲等。
作為青云在多年存儲技術積累基礎上的一次產品全面升級,QingStor U10000繼承了原來青云對象存儲、文件存儲的所有能力,并且在多個維度上實現了產品力的增強和迭代。
QingStor U10000的定位是面向海量非結構化數據的統一存儲平臺,幫助客戶把數據存得穩、算得快、管得好。馮相東說,QingStor U10000主要面向私有云場景,以軟硬一體機、軟件授權等產品形態提供給客戶,并可以與青云公有云上的對象存儲服務和文件存儲服務進行聯動。
QingStor U10000相比于之前的QingStor對象存儲和文件存儲,除了產品力的全面繼承,主要在以下幾個方面有一些明顯的提升:功能和性能的增強,實現數據協議的互通,整個算力平臺對接的強化,數據安全機制。
例如U10000具備支撐海量數據存儲的能力,同時保證提供卓越的性能。U10000的元數據和數據存儲服務都采用全分布式的架構,最小規模3節點起,可以橫向擴展大規模數據存儲集群,并且在所有節點規模增長的時候均可以保證性能和容量的線性增長。
U10000提供非常靈活的EC配比的選項(即EC糾刪碼),用戶可以根據業務的實際情況選擇合適配比,U10000能提供的最高EC配比可以保證整個集群物理磁盤的得盤率或者可用空間率達到90%以上,處于比較領先的水平。
U10000 在保證線性擴展和高性價比EC集群的基礎上,還能為通用場景,包括海量小文件場景提供卓越的I/O性能。比如,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。
在多協議無損互通方面,U10000在技術層面提供了統一的索引架構,并且基于統一的索引架構提供多種層次的能力。U10000提供了POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種接口的支持,滿足常見應用。
此外,U10000具備豐富的數據處理的功能特性,能夠提供一系列完善的API、SDK,可以輕松地對接大數據平臺、數據處理的框架和服務,實現數據和算力的高效結合,最終讓數據實現點石成金。
舉例來看,包括常見的圖片處理、音視頻轉碼、AI大數據分析、HPC超算平臺,包括在數據生命周期流轉中,經常會用到的數據備份歸檔的技術,QingStor U10000都有一整套完善的對接機制,能對接這些算力和計算生態。
U10000還升級了數據安全機制,包括元數據和存儲數據的分層設計、多重訪問安全機制、智能預警、運維監控平臺,保障客戶的數據穩如泰山。
U10000產品功能的更新是一方面,另一方面是在場景方面的全新思考。青云科技產品技術解決方案總監張忠華表示,U10000是以業務場景為驅動,將SDS平臺作為算力為核心的設計思想進行全面升級的,在互聯網體檢、智能駕駛、醫療影像、智能工廠IoT和多元化超算等場景有著廣泛應用。
例如來某智能駕駛科技公司聚焦在于自動駕駛背后的高精度地圖,其數據的采集和處理、分析對于存儲性能和擴展性、安全性提出了更高的要求,目前青云提供的存儲集群及資源算力,基本上解決了其高精度地圖從采集、生產、訓練整個生命周期的存儲和算力的需求。
“站在應用場景的角度,客戶越來越傾向于一個整體的方案,而不是組裝的方案。青云的基因是算力,從云而來,向云而去。青云對軟件定義存儲的思考不是孤立的,將核心聚焦在如何滿足算力對存儲的需求上面,讓存儲更好地賦能算力。”張忠華說。
結語
從最早推出的對象存儲,到后來的塊存儲、文件存儲,最后演變成今天整個青云存儲產品線下的兩款核心產品:QingStor U10000和QingStor NeonSAN,我們看到青云在存儲方面的持續迭代創新。
展望未來,隨著數據存儲的重要性日漸凸顯,青云存儲在賦能數字化方面的作用也將發揮越來越重要的作用。