如今,隨著數據量的快速增長、數據類型及來源不斷變化,越來越多的企業(yè)組織對于數據的采集、管理、應用的訴求也越來越多樣化。在業(yè)務應用要求數據更具實時性、移動性和安全性的同時,也使得傳統(tǒng)、單一、陳舊的數據管理方式在容量、性能需求瓶頸、信息孤島、一次性建設成本高等方面的弊端逐漸暴露出來。
青云科技存儲產品總監(jiān)馮相東表示,青云科技將場景和算力的變化視為推動存儲產業(yè)向前發(fā)展的兩個最主要因素。在不斷適配多元場景和算力的基礎上,青云科技還持續(xù)探索如何讓數據更好地流動起來。馮相東提到,海量數據的涌現使得越來越多的人意識到只是將數據簡單的存儲起來,并不能發(fā)揮數據的真正價值,只有讓數據流動起來,讓其完整地經歷全生命周期的不同階段,才能充分挖掘數據的潛在價值,從而推動數字化業(yè)務的不斷變革。
“在數據流動的完整鏈條里,從最初的采集、處理到后面的歸檔、再利用、銷毀,都需要存儲與大數據技術、存儲與 AI 技術的融合創(chuàng)新,這能讓數據更高效地被捕獲、被索引、被分析和被加工,從而實現數據層面的點石成金。這也是青云科技一直努力研究的重要方向。”馮相東如此說道。
專業(yè)+自研 青云存儲不走尋常路
在數字經濟時代,數據在經濟活動中的作用變得越來越重要,不僅能夠幫助人們更好地組織和規(guī)劃生產經營,更能有效地進行判斷和預測。在這種背景下,數據毋庸置疑的就成為了新的生產要素。
既然數據是一種重要的生產要素,那么讓其得到更為有效的配置和利用,就成為企業(yè)在激烈的市場競爭中形成核心競爭力的關鍵所在。“無論是從宏觀的國家政策和市場層面,還是具體到科技企業(yè)本身,都在積極擁抱數字化,加快推動數字產業(yè)化和產業(yè)數字化進程。身處其中,青云存儲通過專業(yè)和自研的產品創(chuàng)新,能夠幫助企業(yè)更好地管理和洞察數據,從而推動企業(yè)業(yè)務轉型。”馮相東如是說。
目前,青云科技經過存儲產品的迭代和演進,QingStor 產品線主要有兩款核心產品構成:一是 QingStorNeonSAN,二是 QingStor U10000。QingStorNeonSAN,主要面向的是云盤、數據庫,以及虛擬化存儲資源池等結構化數據場景的應用。相比NeonSAN,U10000 通過提供對象、文件、大數據接口,以及不同協(xié)議之間數據無損訪問互通等技術支持,能夠在影像、音視頻、數據湖、大數據、物聯(lián)網等眾多非結構化數據場景中,幫助客戶更高效地實現海量數據的價值挖掘。
馮相東表示,青云存儲主要是通過這兩款獨立的產品、獨立的軟件架構分別支撐兩大類場景。QingStorNeonSAN面向的是結構化數據的高性能業(yè)務場景需求,而QingStor U10000是面向非結構化海量數據存取和利用的業(yè)務場景需求。“兩款產品有各自面向的專業(yè)場景,有各自專業(yè)的分工,青云希望通過專業(yè)的存儲分工能更好地服務專業(yè)的場景。因為從專業(yè)技術的視角來看,存儲架構是沒有銀彈的,沒有哪一種架構能同時做到既能滿足極致的性能設計要求,也能滿足海量數據吞吐、計算、并發(fā)利用的需求。”馮相東進一步解釋道。
在專業(yè)存儲服務專業(yè)場景的同時,青云科技還致力于打造真正自研的中國存儲。從產品上來看,QingStorNeonSAN 和 QingStor U10000 都是自主設計,沒有繼承任何開源架構,因此不存在任何知識產權風險。馮相東表示,青云存儲堅持自研,一方面來自于青云科技對技術的追求。因為經過嚴謹的技術評測,青云科技認為沒有一款開源存儲方案,能夠滿足通用大規(guī)模云計算平臺的需求。另一方面青云科技作為中國云計算公司,希望通過自身努力消除企業(yè)對數據安全的顧慮,以真正自研的中國存儲服務于數字中國建設。
存、算、管三位一體 非結構化數據存儲的必備能力
時至今日,非結構化數據在各行各業(yè)中占比越來越多。例如,醫(yī)療行業(yè)的影像資料、教育行業(yè)的教學教研文檔、傳媒行業(yè)的音視頻素材、公安執(zhí)法的視頻存檔等。IDC預測,到2025年,全球的數據總量將達到175ZB,而80%的數據都將是非結構化的。
隨著數據的巨量增長,非結構化數據需要應用于自動駕駛、基因測試、生命科學、人工智能等現代化應用中,這需要非結構化的數據存儲產品應該具備哪些特征,以滿足不同的應用需求?對此,馮相東表示,在這些場景下,存儲需要具備存、算、管三方面的能力。不僅如此,這其中還要求存儲產品支持多場景的數據流通、多種應用實現無縫對接,以及復雜存儲架構的承載能力。
由此來看,QingStor U10000能夠滿足客戶對于非結構化數據存儲產品的所有想象。它的定位是面向海量非結構化數據的統(tǒng)一存儲平臺,幫助客戶把數據存得穩(wěn)、算得快、管得好。具體來看,U10000繼承了原來青云對象存儲、文件存儲的所有能力,并且在多個維度上實現了產品的增強和迭代。因此,U10000不是一款全新的產品,而是青云科技存儲產品線在非結構化數據產品上的一次全面升級。
“U10000主要面向私有云場景,產品的形態(tài)可以是軟硬一體機,也可以只購買U10000的軟件授權。如果涉及到云服務,青云科技會在公有云上提供對象存儲服務和文件存儲服務。如果只采用 U10000產品,作為一款面向私有云領域推出的非結構化數據存儲產品,它能夠全方位滿足客戶對于數據存儲、管理、應用,以及安全防護等方面的需求。”馮相東說道。
四大核心能力 讓U10000實時就緒
U10000的核心架構由接口層、存儲服務層、統(tǒng)一運維平臺三部分構成 。在接口層,U10000 提供一系列供業(yè)務調用的存儲接口,包括標準的SMB接口、NFS接口。同時,還兼容標準的 POSIX 語義,并能自定義文件訪問的接口。此外,還提供標準的對象存儲 S3 和大數據訪問的 HDFS 接口;在存儲服務層,作為整個核心的存儲引擎,存儲服務層提供豐富的高級功能特性、多維度資源管理功能,以及核心機制,比如糾刪碼、多副本數據安全的機制等;統(tǒng)一運維管理平臺,為運維或者使用者提供友好的可視化管理界面,實現對存儲集群的各種配置、操作和監(jiān)控。
在核心架構之下,U10000 具備支撐海量數據存儲的能力 :一是線性擴展。U10000的元數據和數據存儲服務都采用全分布式的架構,可以橫向擴展大規(guī)模數據存儲集群,并且在所有節(jié)點規(guī)模增長時均可以保證性能和容量的線性增長;二是EB 級集群/高得盤率。U10000 提供非常靈活的EC配比(即EC糾刪碼),用戶可以根據業(yè)務的實際情況選擇合適配比,U10000提供的最高EC配比可以保證整個集群物理磁盤的得盤率或者可用空間率達到90%以上;三是卓越性能。U10000 在保證線性擴展和高性價比EC集群的基礎上,還能為通用場景,包括海量小文件場景提供卓越的I/O性能。比如,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。
具備多協(xié)議無損互通的能力 :一是統(tǒng)一索引架構,提供多種存儲能力。U10000在技術層面提供了統(tǒng)一的索引架構,并且基于統(tǒng)一的索引架構提供多種層次的能力。例如,基于對象接口、NFS/SMB、HDFS等協(xié)議存進來的數據,U10000都能通過統(tǒng)一的索引架構提供元數據的管理能力;二是多協(xié)議存儲接口靈活選擇。U10000在文件、對象、HDFS等多種存儲形態(tài)和語義中,都提供了多種存儲接口,例如,POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種接口的支持,滿足常見應用;三是協(xié)議互通讓數據分析更高效。每一個協(xié)議存進來或者寫入的數據,都可以通過其他協(xié)議進行讀取,從而在完整的業(yè)務場景下滿足數據在多個環(huán)節(jié)中處理的需求,真正讓數據暢通的流動起來。
具備算力的無縫對接的能力 。U10000能夠提供一系列完善的API、SDK,可以輕松對接大數據平臺、數據處理的框架和服務,實現數據和算力的高效結合,最終讓數據實現點石成金。
具備完善的數據安全機制 :一是元數據和存儲數據的分層設計。元數據方面,U10000采用在元數據副本之間做數據強一致性的處理,在數據層面提供了副本和多副本的策略,并且有自校驗機制和增量修復機制;二是多重訪問安全機制。多重數據訪問安全主要包括多租戶訪問隔離,包括基于用戶、資源、訪問行為或者訪問IP的安全訪問機制;三是智能預警機制。可以支持對所有資源做智能監(jiān)控,并對關鍵資源做出提前預警,比如硬盤、網卡、存儲節(jié)點等;四是運維監(jiān)控平臺。在運維監(jiān)控平臺里,U10000 可以提供資源管理、配置管理、告警、日志、監(jiān)控等一系列運維管理服務。
青云科技產品技術解決方案總監(jiān)張忠華表示,U10000 是以業(yè)務場景為驅動,依托將SDS平臺作為算力核心的設計思想進行全面升級的。從客戶的實際反饋來看,客戶越來越傾向于一個整體的方案,而不是組裝的方案。也就是說,客戶更關注的是整體算力平臺能帶來什么價值。其中,存儲是構成算力的重要部分,因此,青云科技對軟件定義存儲的思考一定不是孤立的,而是會把核心聚焦在如何滿足算力對存儲需求這個維度上,讓存儲更好地為算力賦能。
