存儲(chǔ)發(fā)展的大背景離不開(kāi)一個(gè)話題——“數(shù)字中國(guó)正在來(lái)臨”。存儲(chǔ)形態(tài)變革的背后，是數(shù)字場(chǎng)景的變化以及算力的變化。在數(shù)據(jù)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)的今天，存儲(chǔ)的未來(lái)趨勢(shì)是什么？
數(shù)字場(chǎng)景及算力的變化 推動(dòng)了存儲(chǔ)的變革
過(guò)去三十年，企業(yè)從最早期階段的傳統(tǒng)OA應(yīng)用、數(shù)據(jù)庫(kù)，到后來(lái)的互聯(lián)網(wǎng)時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代，再到近幾年的5G、AI、IoT，甚至元宇宙的出現(xiàn)，場(chǎng)景不斷在變化，新應(yīng)用更是層出不窮。這些不斷產(chǎn)生的新的數(shù)據(jù)形態(tài)，直接導(dǎo)致了針對(duì)這些數(shù)據(jù)的分析需求也在不斷變化。在這個(gè)過(guò)程中，存儲(chǔ)作為整個(gè)數(shù)據(jù)管理的核心，自然推動(dòng)了整個(gè)存儲(chǔ)產(chǎn)業(yè)或者存儲(chǔ)形態(tài)的演進(jìn)。另一方面，從算力來(lái)看，最初計(jì)算能力的承載，大部分是使用物理機(jī)，后來(lái)使用虛擬化、云計(jì)算，現(xiàn)在則越來(lái)越多地轉(zhuǎn)向容器平臺(tái)、云原生。一臺(tái)物理機(jī)上有幾十個(gè)虛擬機(jī)，如果以容器的形式承載計(jì)算，一臺(tái)物理機(jī)則可以有上百個(gè)或者幾百個(gè)容器Pod單元。隨著整個(gè)計(jì)算單元的密度變得越來(lái)越高，計(jì)算的敏捷性也將越來(lái)越強(qiáng)。
但在各企業(yè)的實(shí)際應(yīng)用場(chǎng)景里，數(shù)據(jù)的表現(xiàn)形式顯然更為復(fù)雜。據(jù)筆者了解，中國(guó)的自動(dòng)駕駛汽車(chē)，其出貨量已經(jīng)達(dá)到 3000 多萬(wàn)輛，一輛自動(dòng)駕駛汽車(chē)滿(mǎn)負(fù)荷測(cè)試的情況下，每天可以產(chǎn)生的數(shù)據(jù)量能達(dá)到數(shù)TB 甚至數(shù)十TB。而且，典型的自動(dòng)駕駛、物聯(lián)網(wǎng)、AR、5G場(chǎng)景背后所產(chǎn)生的數(shù)據(jù)類(lèi)型主要以非結(jié)構(gòu)化數(shù)據(jù)為主，包括圖片、音頻、視頻，以及一些日志類(lèi)的數(shù)據(jù)。
這些因素，極大推動(dòng)了存儲(chǔ)的變革。
流動(dòng)的數(shù)據(jù)才是有價(jià)值的數(shù)據(jù)
隨著海量數(shù)據(jù)的持續(xù)增加，如果只是簡(jiǎn)單地把這些海量數(shù)據(jù)存起來(lái)，并不能發(fā)揮這些數(shù)據(jù)的價(jià)值，也就是說(shuō)靜止的數(shù)據(jù)并沒(méi)有多少價(jià)值可言。必須讓數(shù)據(jù)流動(dòng)起來(lái)，讓數(shù)據(jù)完整地或者相對(duì)完整地經(jīng)歷生命周期的不同階段，在不同階段為數(shù)字化業(yè)務(wù)產(chǎn)生不同的價(jià)值，才能充分挖掘整個(gè)數(shù)據(jù)的價(jià)值。
流動(dòng)的數(shù)據(jù)才是有價(jià)值的數(shù)據(jù)！如何讓數(shù)據(jù)更好地流動(dòng)起來(lái)？
在數(shù)據(jù)流動(dòng)的完整鏈條里，從最初的數(shù)據(jù)采集、處理、歸檔、再利用、銷(xiāo)毀，都會(huì)涉及到存儲(chǔ)與大數(shù)據(jù)技術(shù)、存儲(chǔ)與 AI 計(jì)算技術(shù)的結(jié)合，這能讓數(shù)據(jù)更高效地被捕獲、被索引、被分析和被加工，從而實(shí)現(xiàn)數(shù)據(jù)層面的點(diǎn)石成金。
以某智能駕駛科技公司為例，其業(yè)務(wù)主要圍繞高精度地圖原始數(shù)據(jù)的采集，其數(shù)據(jù)形式主要是圖片和視頻，既需要對(duì)這些數(shù)據(jù)做標(biāo)注，又要進(jìn)行長(zhǎng)期的地圖數(shù)據(jù)留存。其中的一個(gè)典型應(yīng)用場(chǎng)景是路基數(shù)據(jù)，采集量巨大，一輛車(chē)一天就有1TB的數(shù)據(jù)存儲(chǔ)量，再經(jīng)過(guò)加工及與數(shù)據(jù)分析平臺(tái)、數(shù)據(jù)存儲(chǔ)平臺(tái)交互，與此同時(shí)，地圖采集也需要遵守相關(guān)監(jiān)管單位的涉密要求，對(duì)數(shù)據(jù)安全性的要求也極高。這些都對(duì)現(xiàn)有的數(shù)據(jù)存儲(chǔ)技術(shù)帶來(lái)了新的挑戰(zhàn)。
未來(lái)，我們需要什么樣的存儲(chǔ)？
青云科技自研的存儲(chǔ)QingStor U10000，專(zhuān)為支持 IoT、AI、生命科學(xué)等新興應(yīng)用開(kāi)發(fā)、現(xiàn)代數(shù)據(jù)分析和未來(lái)數(shù)據(jù)而生。青云科技存儲(chǔ)產(chǎn)品總監(jiān)馮相東表示：“這是一款真正實(shí)現(xiàn)了數(shù)據(jù)無(wú)損互通的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)軟件。”
未來(lái)存儲(chǔ)：流動(dòng)的并實(shí)現(xiàn)了各種數(shù)據(jù)形式無(wú)損互通的存儲(chǔ)
QingStor U10000 是青云在近 10 年存儲(chǔ)技術(shù)積累基礎(chǔ)上的一次全面的產(chǎn)品升級(jí)，實(shí)現(xiàn)了軟件棧全自主設(shè)計(jì)與自主研發(fā)。U10000 繼承了原來(lái)青云對(duì)象存儲(chǔ)、文件存儲(chǔ)的所有能力，并且在多個(gè)維度上實(shí)現(xiàn)了產(chǎn)品力的增強(qiáng)和迭代。
U10000 主要面向海量非結(jié)構(gòu)化數(shù)據(jù)的場(chǎng)景，主要包括各種影像數(shù)據(jù)、音視頻數(shù)據(jù)、數(shù)據(jù)湖、大數(shù)據(jù)、物聯(lián)網(wǎng)等，同時(shí)提供對(duì)象存儲(chǔ)、文件存儲(chǔ)、大數(shù)據(jù)接口，不同協(xié)議之間實(shí)現(xiàn)數(shù)據(jù)無(wú)損訪問(wèn)互通。此外，單存儲(chǔ)桶支持 100+ 億個(gè)對(duì)象，并保持性能穩(wěn)定。
據(jù)了解，U10000 主要由接入層、存儲(chǔ)服務(wù)層、運(yùn)維平臺(tái)三大模塊構(gòu)成：
接入層：提供 SMB、NFS、對(duì)象存儲(chǔ) S3、HDFS 大數(shù)據(jù)接口，并且兼容標(biāo)準(zhǔn)的 POSIX 語(yǔ)義，以文件、對(duì)象、大數(shù)據(jù)三種接口的形態(tài)承載多樣業(yè)務(wù)的使用。
存儲(chǔ)服務(wù)層：作為核心的存儲(chǔ)引擎，提供豐富的高級(jí)功能特性、多維度資源管理功能以及核心機(jī)制，比如 EC 糾刪碼、多副本數(shù)據(jù)安全。
統(tǒng)一運(yùn)維管理平臺(tái)：提供用戶(hù)友好的可視化管理平臺(tái)，實(shí)現(xiàn)對(duì)存儲(chǔ)集群的多維度配置、操作、預(yù)警和監(jiān)控。
U10000四大優(yōu)勢(shì) 讓存儲(chǔ)數(shù)據(jù)更安全且數(shù)據(jù)應(yīng)用更高效
據(jù)馮相東介紹：U10000 具有四大核心優(yōu)勢(shì)，可讓企業(yè)存儲(chǔ)數(shù)據(jù)更安全、數(shù)據(jù)應(yīng)用更高效。
一、多協(xié)議無(wú)損互通，數(shù)據(jù)訪問(wèn)和流通更高效：U10000 在技術(shù)層面提供了統(tǒng)一的索引架構(gòu)，并且基于統(tǒng)一的索引架構(gòu)提供多種層次的能力，提供多協(xié)議存儲(chǔ)接口。每一個(gè)協(xié)議存儲(chǔ)或者寫(xiě)入的數(shù)據(jù)，都可以通過(guò)其他協(xié)議讀取，讓數(shù)據(jù)分析更高效。
二、支撐海量數(shù)據(jù)存儲(chǔ)，提供卓越性能：U10000 的元數(shù)據(jù)和數(shù)據(jù)存儲(chǔ)服務(wù)都采用全分布式的架構(gòu)，可以橫向擴(kuò)展大規(guī)模數(shù)據(jù)存儲(chǔ)集群，同時(shí)保證性能和容量的線性增長(zhǎng)，提供卓越的 I/O 性能。通過(guò)靈活的 EC 配比（即 EC 糾刪碼），保證整個(gè)集群物理磁盤(pán)的可用空間率達(dá)到 90% 以上。
三、算力無(wú)縫對(duì)接，數(shù)據(jù)點(diǎn)石成金：U10000 具備豐富的數(shù)據(jù)處理能力，能夠提供一系列完善的API、SDK，可以輕松地對(duì)接大數(shù)據(jù)平臺(tái)、數(shù)據(jù)處理的框架和服務(wù)，實(shí)現(xiàn)數(shù)據(jù)和算力的高效結(jié)合，最終讓數(shù)據(jù)實(shí)現(xiàn)點(diǎn)石成金。
四、多維安全，數(shù)據(jù)穩(wěn)定：U10000 通過(guò)數(shù)據(jù)強(qiáng)一致性的處理、多副本策略，保證數(shù)據(jù)安全。通過(guò)多租戶(hù)訪問(wèn)隔離、WORM、日志歸檔等多重訪問(wèn)安全機(jī)制和智能預(yù)警機(jī)制，提升用戶(hù)使用安全性，同時(shí)提供可視化便捷的運(yùn)維平臺(tái)，方便人員管理。
正是基于對(duì)非結(jié)構(gòu)化數(shù)據(jù)的流動(dòng)性存儲(chǔ)需求，上述智能駕駛科技公司選擇了與青云合作，通過(guò)其提供的 U10000 存儲(chǔ)集群及資源算力，滿(mǎn)足自身高精度地圖從采集、生產(chǎn)、訓(xùn)練整個(gè)生命周期的存儲(chǔ)和算力的需求。
可以說(shuō)，U10000 產(chǎn)品的研發(fā)及應(yīng)用，為行業(yè)在解決非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及流動(dòng)性數(shù)據(jù)的應(yīng)用方面，提供了很好的解決思路。
