一輛自動駕駛汽車滿負荷測試情況下,每天可以產生數TB甚至數十TB的數據量;一家智慧工廠每天產生的數據量可達PB級。移動App的全球下載量已經超過2300億次,還有大量 AR/VR終端設備、5G 基站,都在源源不斷的采集和產生新的數據。
數字時代,數據的量級呈指數級增長。并且,自動駕駛、物聯網、AR、5G等典型場景所產生的數據主要以非結構化數據為主,包括圖片、音頻、視頻、日志等。這些數據如果僅僅是存儲起來,沒有任何用處,只有“流動起來”,讓數據在不同階段為數字化業務產生不同的價值,數據才是有用的。
在數據流動的完整鏈條中,從最初的采集、處理到歸檔、再利用、銷毀,都不可避免地涉及到了存儲與大數據技術、存儲與 AI 計算技術的結合,只有如此,才讓數據更高效地被捕獲、索引、分析和加工,從而實現數據層面的點石成金。這也正是青云科技存儲產品線多年來一直努力的方向。
十年積累,打造兩款核心存儲產品
青云科技在2015年就推出了對象存儲,之后又推出了NeonSAN塊存儲,以及文件存儲。經過十年的演進,目前,青云存儲QingStor 產品線主要演進為兩款核心產品:一是 QingStor NeonSAN,二是 QingStor U10000。
QingStor NeonSAN,主要面向的場景是云盤、數據庫以及虛擬化存儲資源池場景的應用。作為一款分布式塊存儲,其整個設計原則是為 I/O 極致性能而設計的:最短I/O 時延可以控制在50微秒左右;只需要3臺NeonSAN的節點,就可以實現100萬的 IOPS。在金融行業多個企業客戶中,青云科技的存儲產品已經積累了多年的、穩定運行 Oracle RAC集群的實踐經驗。
QingStor U10000 主要面向非結構化數據的場景,包括各種影像數據、音視頻數據、數據湖、大數據、物聯網等場景。青云科技存儲產品總監馮相東介紹說,U10000產品設計的初衷就是幫助客戶更好地實現海量數據的價值挖掘,其核心特點包括:同時提供對象、文件、大數據接口,不同協議之間實現數據無損訪問互通;單存儲桶支持 100 多億個對象,并且性能不會隨之下降。
“我們沒有用一種架構同時滿足結構化和非結構化的數據場景。因為存儲架構是沒有銀彈的,沒有哪一種架構能夠同時滿足極致的性能和海量數據吞吐、計算。青云科技希望通過專業的存儲分工,來更好的服務專業場景。”馮相東表示。
更懂算力的存儲平臺,真正自研的中國存儲
青云科技的存儲產品從誕生開始就服務于青云的云計算通用平臺,包括公有云、私有云平臺,歷經十年大規模通用計算平臺的考驗。青云存儲是包括 KubeSphere企業級容器平臺在內的容器和云原生平臺的底層存儲,擁有基于 K8s通用平臺的生產積累和實踐。青云存儲還支撐了全新推出的超算平——EHPC,承擔了高效穩定的存儲底座的角色。在大數據、IoT物聯網等場景,青云存儲有能力提供豐富的API和SDK選擇,更好地對接算力層面的其他生態。
源于對技術的追求,同時也懷揣著中國存儲服務數字中國的愿景,青云存儲產品是真正自研的中國存儲。青云存儲 QingStor 的兩款核心產品QingStor NeonSAN 和 QingStor U10000 都是自主設計,沒有繼承任何開源的架構,不存在任何知識產權的風險。自主研發使得技術百分百可控,不存在技術盲區,且具備處理任何復雜問題的能力。
存得穩、算得快、管得好的QingStor U10000
QingStor U10000并不是一款全新的產品,而是青云科技存儲產品線在非結構化數據,包括對象、文件存儲上的一次產品全面升級。
相較于之前的QingStor對象存儲和文件存儲,QingStor U10000主要在以下四個方面有明顯的提升。
(一)支撐海量數據存儲的能力,同時保證提供卓越的性能
存儲集群要做到線性擴展才能支撐海量數據存儲。U10000的元數據和數據存儲服務都采用全分布式架構,最小規模3節點起,可以橫向擴展大規模數據存儲集群,并且在所有節點規模增長的時候均可以保證性能和容量的線性增長。
U10000 提供靈活的EC配比,用戶可以根據業務的實際情況選擇合適的配比。同時,U10000在保證線性擴展和高性價比EC集群的基礎上,還能為通用場景,包括海量小文件場景提供卓越的I/O性能。比如,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。在編程語言層面,U10000采用的Rust語言給予存儲性能安全方面更優的保障。
(二)多協議無損互通,實現數據訪問和高效流通
與其他一些通過格式轉化的技術來實現協議互通的分布式存儲廠商不同,U10000在底層部署了統一的索引架構,提供多種層次的能力。存儲和讀取數據之間不需要經過格式轉化,不存在性能和語義的損失。U10000在文件、對象、HDFS等存儲形態中都提供了多種存儲接口的支持,如POSIX、SMB、NFS、FTP、HDFS、S3、SDK等,可以滿足常見應用。
(三)算力的無縫對接,讓數據點石成金
得益于多年的積累,U10000 具備豐富的數據處理的功能特性,能夠提供一系列完善的API、SDK,可以輕松地對接大數據平臺、數據處理的框架和服務,實現數據和算力的高效結合。
(四)多維的安全機制保障客戶數據穩如泰山
首先在元數據和存儲數據的分層設計方面,U10000采用在元數據副本之間做數據強一致性的處理,在數據層面提供了副本和多副本的策略,并且有自校驗機制和增量修復機制,保障數據的安全。二是多重訪問安全機制。包括多租戶訪問隔離,基于用戶、資源、訪問行為或者訪問IP的安全訪問機制,以及存儲產品本身的高級特性,如版本管理、WORM、日志歸檔等存儲的高級特性。三是智能預警機制。智能預警機制可以支持對所有資源做智能監控,對關鍵資源做出提前預警,比如硬盤、網卡、存儲節點等。四是功能服務的運維監控平臺。在運維監控平臺里,U10000 也可以提供資源管理、配置管理、告警、日志、監控等一系列的統一管理功能。
從應用場景的角度,為客戶提供完整的解決方案
在互聯網體檢行業,青云科技為慈銘體檢提供了業務承載平臺,使用了底層為QingStor 高性能塊存儲平臺的云易捷超融合平臺,與U10000的對象存儲做對接,實現了PACS系統的實時調取和長期存儲。同時,青云科技與該企業也在聯合探索基于U10000 協議互通的能力,實現對象和文件可互通,為 AI醫療相關的應用提供更多的數據價值。
在制造業,青云科技與蘇州華興源創合作完成了物聯網與邊緣計算整體方案。青云科技為華興源創部署了包括 U10000 在內的青云全棧存儲能力,其中,U10000的對象存儲和文件存儲是核心,NeonSAN 塊存儲支持傳統業務,整體形成數據存儲的中臺。分布式存儲規避了很多問題,如海量數據存儲膨脹帶來的擴容問題,數據分析帶來的數據流通性問題。在這個案例中,大數據分析、展現、集中監控等操作對存儲的性能都提出了很高的要求?;谇嘣芔10000非結構化數據的統一存儲平臺,數據流通變得更簡單了,數據的價值得到了真正的發揮。
青云科技產品技術解決方案總監張忠華表示,“青云科技的基因是算力,從云而來,向云而去。青云科技對軟件定義存儲的思考不是孤立的,而是把核心聚焦在如何滿足算力對存儲的需求這個維度上,讓存儲更好地為算力賦能。”