數據是自動駕駛實現的基礎要素。通常而言,一輛路測車每天產生1PB(1PB=1024TB)左右數據。這1PB的數據,需要通過四個環節的處理后才能被自動駕駛所用:
先是通過S3和NFS協議實現數據的上傳和導入,接著通過HDFS分布式存儲系統完成預處理,隨后通過NFS協議完成AI訓練,最后通過NFS、SMB協議完成仿真測試。
這一典型案例也反映出數字時代下存儲的發展趨勢:以圖片、音頻、視頻為代表的非結構化數據的驟增,使得全球數據量呈指數級增長;自動駕駛、元宇宙等場景的出現,對算力提出了更高要求,間接推動著存儲形態、功能的演進。
“海量數據的持續增加,使得越來越多人意識到簡單存起來的靜止數據沒有什么價值可言。讓數據流動起來,在不同生命階段為數字化業務服務,才能充分挖掘出數據的價值。”青云科技存儲產品總監馮相東表示。
如何“點石成金”?
的確,盡管“數據是21世紀的石油”早已成為共識,但海量非結構化數據的存儲,如果僅僅是囤積而不能“燃燒”為企業生產經營所用,那么于企業而言,只會增加存儲和管理成本。
只有將其高效的存儲、處理、分析,為業務經營、企業管理提供科學化決策,海量非結構化數據于企業而言,才能產生“點石成金”的效果。在青云科技產品技術解決方案總監張忠華看來,數據的“點石成金”是一次蛻變,自然并不容易實現:
如何對接多元算力?“清華大學天津電子信息研究院的算力平臺有很多種,包括科學計算平臺、標準云計算平臺、高性能計算,還有AI算力、GPU算力。那么存儲系統如何和多元化的算力對接?”張忠華舉例道。
如何打通多種存儲協議?除上述所描述的自動駕駛場景,蘇州華興源創所處的制造業同樣面臨這一困擾:包括ERP、MES、OA、CRM等在內的涉及生產、管理的業務系統上百套,數據來源各式各樣,有需要離線處理的,有需要實時分析的,那么如何實現基于不同協議數據的統一匯總,實現數據驅動?
如何保證存儲系統的性能以及安全?海量的非結構化數據要求存儲系統的擴展性;新興的自動駕駛、AI等場景要求存儲系統的時延、I/O吞吐性能;中美貿易戰以及信創等外部環境同時又要求存儲系統自主可控。這均是數字時代下,企業需要思考的問題。
存得穩、算得快、管得好
“從專業技術角度來看,存儲架構是沒有銀彈的。沒有哪一種架構既能滿足極致的性能要求,也能滿足海量數據吞吐、計算、并發利用的需求。”面對海量非結構化數據的“洶涌而來”,馮相東認為面向數據庫、云盤等傳統結構化數據場景的存儲架構并不適用,“青云希望通過專業的存儲分工更好地服務專業的場景。”
因此,面向海量非結構化數據的應用場景,青云推出了統一存儲平臺QingStor U10000,其不僅繼承了青云原來面向對象存儲、文件存儲的所有能力,同時在多個維度上實現了產品力的迭代和增強。
具體而言,QingStor U10000提供海量數據存儲能力,并保證性能。QingStor U10000最小部署規模3節點,可橫向擴展至數千節點;即便在數千節點的大規模集群下,QingStor U10000提供的EC配比仍能保證物理得盤率達90%以上;面向AI訓練等海量小文件應用場景,QingStor U10000能做到單桶、單目錄支持百億級且性能無衰減。
QingStor U10000支持多協議無損互通。通過統一索引架構以及對POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種協議的支持,QingStor U10000對數據的存儲和讀取,無需再經過格式轉化;多協議互通使得一份數據可重復利用于不同場景無需多次復制,實現數據分析的高效且不再冗余。
QingStor U10000實現多元算力無縫對接。得益于青云多年在云服務領域的積累,QingStor U10000提供一系列完善的API、SDK,可以輕松地對接各類大數據平臺、數據處理框架和服務,實現數據和不同算力的高效結合。
QingStor U10000從多個維度保證數據安全。通過元數據和存儲數據分層、多重訪問安全機制、智能預警機制以及運維監控平臺,QingStor U10000實現了數據從副本到訪問、預警,再到運維全流程的安全保障。
可以看到,QingStor U10000涉及海量非結構化數據的存儲、計算分析以及管理運維等維度,這也是馮相東希望QingStor U10000能實現的目標:“幫助客戶把數據存得穩、算得快、管得好。”
專業、自研,持續助力數字中國建設
繼承了QingStor對象存儲和QingStor文件存儲的能力,并在算力對接、協議互通、性能以及安全等方面提升的QingStor U10000,無疑是一款專業面向海量非結構化數據場景的統一存儲平臺。
事實上,QingStor U10000的特性不止專業,同時還包括自研。談及為何走上自研之路,馮相東表示一方面是青云對技術的追求。“最初青云評估整個云平臺業務時,通過技術評測之后發現市面上沒有一款開源存儲方案能滿足通用大規模云計算平臺對存儲需求,處于對技術的嚴謹,青云存儲從一開始就選擇了自研道路。”
另一方面是青云的企業責任感。“青云作為一家中國云計算公司,希望通過自身的努力,消除企業對數據安全的顧慮,以真正自研的中國存儲服務于數字中國。”
近十年的自研之路,也使得青云存儲在發展過程中規避了很多風險。如基于開源框架開發的商業存儲系統,經過十幾年的發展,架構復雜且冗余,這使得工程師在面對復雜存儲問題時難以處理。
同時,開源框架若基于傳統機械硬盤開發,其“古老”的特性已不適用于全閃介質,無法全面發揮新介質的性能。
此外,中美貿易戰、烏蘇戰爭等政治因素更使得廠商意識到,如果開源項目社區沒有掌握在自己手中,也會存在一定風險。
而這些問題,在QingStor U10000以及青云整個存儲業務中均不存在。面向信創,青云存儲也與鯤鵬、飛騰、海光等目前主流的國產硬件平臺,以及麒麟軟件、統信、openEuler等國產操作系統,實現完整的生態化兼容。
繼續聚焦青云整個存儲業務。QingStor U10000的發布,使得青云存儲布局更加簡潔明朗:QingStor NeonSAN面向結構化數據,提供極致性能;QingStor U10000面向海量非結構化數據,釋放數據潛力。
在“QingStor NeonSAN+ QingStor U10000”的雙輪驅動下,青云存儲也將更好地參與到新基建、“東數西算”、“十四五”數字經濟發展規劃等政策中去,持續助力數字中國建設。