以圖片、音頻、視頻為代表的非結(jié)構(gòu)化數(shù)據(jù)的驟增,使得全球數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng);自動(dòng)駕駛、元宇宙等場(chǎng)景的出現(xiàn),對(duì)算力提出了更高要求,間接推動(dòng)著存儲(chǔ)形態(tài)、功能的演進(jìn)。青云科技觀察發(fā)現(xiàn):海量數(shù)據(jù)的持續(xù)增加,使得越來(lái)越多人意識(shí)到簡(jiǎn)單存起來(lái)的靜止數(shù)據(jù)沒(méi)有什么價(jià)值可言,讓數(shù)據(jù)流動(dòng)起來(lái),在不同生命階段為數(shù)字化業(yè)務(wù)服務(wù),才能充分挖掘出數(shù)據(jù)的價(jià)值。
盡管“數(shù)據(jù)是21世紀(jì)的石油”早已成為共識(shí),但海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),如果僅僅是囤積而不能“燃燒”為企業(yè)生產(chǎn)經(jīng)營(yíng)所用,那么于企業(yè)而言,只會(huì)增加存儲(chǔ)和管理成本。
只有將其高效的存儲(chǔ)、處理、分析,為業(yè)務(wù)經(jīng)營(yíng)、企業(yè)管理提供科學(xué)化決策,海量非結(jié)構(gòu)化數(shù)據(jù)于企業(yè)而言,才能產(chǎn)生“點(diǎn)石成金”的效果。
如何對(duì)接多元算力?清華大學(xué)天津電子信息研究院的算力平臺(tái)有很多種,包括科學(xué)計(jì)算平臺(tái)、標(biāo)準(zhǔn)云計(jì)算平臺(tái)、高性能計(jì)算,還有AI算力、GPU算力。
如何打通多種存儲(chǔ)協(xié)議?蘇州華興源創(chuàng)所處的制造業(yè)同樣面臨這一困擾:包括ERP、MES、OA、CRM等在內(nèi)的涉及生產(chǎn)、管理的業(yè)務(wù)系統(tǒng)上百套,數(shù)據(jù)來(lái)源各式各樣,有需要離線處理的,有需要實(shí)時(shí)分析的,那么如何實(shí)現(xiàn)基于不同協(xié)議數(shù)據(jù)的統(tǒng)一匯總,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)?
如何保證存儲(chǔ)系統(tǒng)的性能以及安全?海量的非結(jié)構(gòu)化數(shù)據(jù)要求存儲(chǔ)系統(tǒng)的擴(kuò)展性;新興的自動(dòng)駕駛、AI等場(chǎng)景要求存儲(chǔ)系統(tǒng)的時(shí)延、I/O吞吐性能;中美貿(mào)易戰(zhàn)以及信創(chuàng)等外部環(huán)境同時(shí)又要求存儲(chǔ)系統(tǒng)自主可控。這均是數(shù)字時(shí)代下,企業(yè)需要思考的問(wèn)題。
面對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的“洶涌而來(lái)”,面向數(shù)據(jù)庫(kù)、云盤等傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景的存儲(chǔ)架構(gòu)并不適用,青云希望通過(guò)專業(yè)的存儲(chǔ)分工更好地服務(wù)專業(yè)的場(chǎng)景。
因此,面向海量非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用場(chǎng)景,青云推出了統(tǒng)一存儲(chǔ)平臺(tái)QingStor U10000,其不僅繼承了青云原來(lái)面向?qū)ο蟠鎯?chǔ)、文件存儲(chǔ)的所有能力,同時(shí)在多個(gè)維度上實(shí)現(xiàn)了產(chǎn)品力的迭代和增強(qiáng)。
具體而言,QingStor U10000提供海量數(shù)據(jù)存儲(chǔ)能力,并保證性能。QingStor U10000最小部署規(guī)模3節(jié)點(diǎn),可橫向擴(kuò)展至數(shù)千節(jié)點(diǎn);即便在數(shù)千節(jié)點(diǎn)的大規(guī)模集群下,QingStor U10000提供的EC配比仍能保證物理得盤率達(dá)90%以上;面向AI訓(xùn)練等海量小文件應(yīng)用場(chǎng)景,QingStor U10000能做到單桶、單目錄支持百億級(jí)且性能無(wú)衰減。
QingStor U10000支持多協(xié)議無(wú)損互通。通過(guò)統(tǒng)一索引架構(gòu)以及對(duì)POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種協(xié)議的支持,QingStor U10000對(duì)數(shù)據(jù)的存儲(chǔ)和讀取,無(wú)需再經(jīng)過(guò)格式轉(zhuǎn)化;多協(xié)議互通使得一份數(shù)據(jù)可重復(fù)利用于不同場(chǎng)景無(wú)需多次復(fù)制,實(shí)現(xiàn)數(shù)據(jù)分析的高效且不再冗余。
QingStor U10000實(shí)現(xiàn)多元算力無(wú)縫對(duì)接。得益于青云多年在云服務(wù)領(lǐng)域的積累,QingStor U10000提供一系列完善的API、SDK,可以輕松地對(duì)接各類大數(shù)據(jù)平臺(tái)、數(shù)據(jù)處理框架和服務(wù),實(shí)現(xiàn)數(shù)據(jù)和不同算力的高效結(jié)合。
QingStor U10000從多個(gè)維度保證數(shù)據(jù)安全。通過(guò)元數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)分層、多重訪問(wèn)安全機(jī)制、智能預(yù)警機(jī)制以及運(yùn)維監(jiān)控平臺(tái),QingStor U10000實(shí)現(xiàn)了數(shù)據(jù)從副本到訪問(wèn)、預(yù)警,再到運(yùn)維全流程的安全保障。
可以看到,QingStor U10000涉及海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、計(jì)算分析以及管理運(yùn)維等維度,并有明確的目標(biāo):“幫助客戶把數(shù)據(jù)存得穩(wěn)、算得快、管得好。”