隨著數字經濟深入發展,數據已上升為與土地、勞動力、資本、技術并列的生產要素。如何讓“數據金礦”體現更多的價值已成為行業關注的焦點。
對此,青云科技存儲產品總監馮相東表示,當前,數字經濟時代,海量數據已體現出兩個重要的特征:一是不管是產生數據的終端數量還是產生的數據量級,和十幾年前比,均出現指數級增長。二是自動駕駛、物聯網、AR、5G場景背后所產生的數據類型主要以非結構化數據為主,包括圖片、音頻、視頻以及一些日志類的數據。
“海量數據持續增加,越來越多的人意識到簡單地把這些海量數據存起來,其實并沒有發揮這些數據的價值,或者說靜止的數據是沒有多少價值可言的,必須讓數據流動起來,讓數據完整地或者相對完整地經歷生命周期的不同階段,在不同階段為數字化業務產生不同的價值,才能充分挖掘整個數據的價值。”馮相東強調。
在數據流動的完整鏈條里,從最初的采集、處理到后面的歸檔、再利用、銷毀,都會涉及到存儲與大數據技術、存儲與 AI 計算技術的結合,這能讓數據更高效地被捕獲、被索引、被分析和被加工,從而實現數據層面的點石成金。這也是青云存儲這些年一直在努力研究的一個方向。
青云深耕存儲領域,形成專業和自研兩大特點。
關于專業,是指專業存儲服務專業場景。目前青云存儲經過產品的演進,QingStor產品線主要由兩款核心產品構成:一是 QingStor NeonSAN,二是 QingStor U10000。QingStor NeonSAN面向的是結構化數據的高性能業務場景的需求,主要面向的場景是云盤、數據庫以及虛擬化存儲資源池場景的應用。QingStor U10000是面向非結構化海量數據存取和利用的業務場景的需求,主要包括各種影像數據、音視頻數據、數據湖、大數據、物聯網等場景。產品設計初衷就是幫助客戶更好實現海量數據的價值挖掘,產品的核心特點包括:同時提供對象、文件、大數據接口,不同協議之間實現數據無損訪問互通;單存儲桶支持 100 多億個對象,并且性能不會隨之下降。
“兩款產品有各自面向的專業場景,有各自專業的分工,我們沒有用一種架構同時滿足結構化和非結構化的數據場景。因為從專業技術的視角來看,存儲架構是沒有銀彈的,沒有哪一種架構能同時做到既能滿足極致的性能設計要求,也能滿足海量數據吞吐、計算、并發利用的需求,這樣的結構是不存在的。青云希望通過專業的存儲分工更好地服務專業的場景。”馮相東指出。
自研是青云存儲的第二大特點。青云存儲 QingStor 的兩款核心產品全都是自主設計的,沒有繼承任何開源的架構。另外,自主研發使得技術百分百可控,不存在技術盲區。
值得一提的是,QingStor U10000這款產品是青云在多年存儲技術積累基礎上的一次產品全面升級。其繼承了之前青云對象存儲、文件存儲的所有能力,并且在多個維度上實現了產品力的增強和迭代(青云存儲之前主要包括QingStor塊存儲 NeonSAN、QingStor對象存儲、QingStor文件存儲)。因此,QingStor U10000其實并不是一款全新的產品,而是青云整個存儲產品線針對非結構化數據,基于對象、文件存儲上的一次產品全面升級。
“QingStor U10000的定位是面向海量非結構化數據的統一存儲平臺,幫助客戶把數據存得穩、算得快、管得好。QingStor U10000相比于之前的QingStor對象存儲和文件存儲,除了產品力的全面繼承,在一些主要領域實現了明顯的提升,例如實現數據協議的互通,功能和性能得到了增強,強化了與算力平臺的對接等。”馮相東強調。
據介紹,QingStor U10000具備支撐海量數據存儲的能力,同時保證提供卓越的性能。QingStor U10000在保證線性擴展和高性價比EC集群的基礎上,還能為通用場景,包括海量小文件場景提供卓越的I/O性能。比如,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。在技術層面,QingStor U10000采用比較流行的技術語言——Rust語言,給予存儲性能安全方面更優的保障。
在多協議無損互通方面,QingStor U10000在技術層面提供了統一的索引架構,并且基于統一的索引架構提供多種層次的能力。這就是說,基于對象接口存進來的數據,基于NFS/SMB存進來的數據,或者通過HDFS大數據專用協議存進來的數據,QingStor U10000都是基于統一的索引架構提供這些數據的元數據管理。另外還提供了多協議存儲接口供選擇,而協議互通也讓數據分析更為高效。
在算力的無縫對接方面,得益于多年的積累,QingStor U10000具備豐富的數據處理的功能特性,能夠提供一系列完善的API、SDK,可以輕松地對接大數據平臺、數據處理的框架和服務,實現數據和算力的高效結合。
最后,數據安全也不容忽視,QingStor U10000通過元數據和存儲數據的分層設計、多重訪問安全機制、智能預警機制、功能服務的運維監控平臺等多個維度保障數據安全。