據(jù)IDC數(shù)據(jù)統(tǒng)計(jì)，2022年中國大數(shù)據(jù)市場總體IT投資規(guī)模約170億美元，并在2026年增至364.9億美元，實(shí)現(xiàn)規(guī)模翻倍，與全球總規(guī)模相比，中國市場在五年預(yù)測期內(nèi)占比持續(xù)增高。湖倉一體作為核心數(shù)據(jù)管理架構(gòu)，將對(duì)企業(yè)的海量多模數(shù)據(jù)管理和價(jià)值挖掘產(chǎn)生重要影響。
在數(shù)字化轉(zhuǎn)型加速的當(dāng)下，數(shù)據(jù)已成為企業(yè)最核心的資產(chǎn)之一，因?yàn)樗仁歉咝a(chǎn)的基礎(chǔ)，又是經(jīng)營決策的重要依據(jù)。在此背景下，金山云基于自身在存儲(chǔ)方面十多年的積淀，升級(jí)了對(duì)象存儲(chǔ)KS3-HDFS數(shù)據(jù)湖存儲(chǔ)服務(wù)。KS3-HDFS服務(wù)是一款基于對(duì)象存儲(chǔ)的數(shù)據(jù)湖訪問加速產(chǎn)品，兼容HDFS協(xié)議，能夠提供統(tǒng)一元數(shù)據(jù)管理能力，主要面向大數(shù)據(jù)生態(tài)等高吞吐、低延時(shí)計(jì)算分析場景，提供存儲(chǔ)加速服務(wù)，解決用戶在大數(shù)據(jù)場景下的本地存儲(chǔ)成本過高、資源耦合、彈性不足等痛點(diǎn)。
除原有的S3協(xié)議外，KS3-HDFS數(shù)據(jù)湖存儲(chǔ)還支持HDFS協(xié)議。這樣一來，用戶無需對(duì)現(xiàn)有的大數(shù)據(jù)分析應(yīng)用做任何修改，即可像在原生HDFS中那樣管理和訪問數(shù)據(jù)。在支持常見目錄語義的基礎(chǔ)上，KS3-HDFS數(shù)據(jù)湖存儲(chǔ)還優(yōu)化了常見讀操作List、Head，使得訪問帶寬全面提速，單鏈接可達(dá)100MB/s。
基于KS3自身彈性，金山云HDFS數(shù)據(jù)湖存儲(chǔ)服務(wù)還解決了HDFS彈性不足、成本高和資源利用率低這3大問題，能夠?qū)崿F(xiàn)計(jì)算資源和彈性資源分別擴(kuò)容，在極大降低存儲(chǔ)成本的同時(shí)，提升資源利用率。更重要的是，KS3-HDFS數(shù)據(jù)湖存儲(chǔ)服務(wù)通過Bucket配置，即開即用，以SDK的形式進(jìn)行服務(wù)端訪問，可自動(dòng)擴(kuò)展、冗余備份，可保證服務(wù)的可持續(xù)和數(shù)據(jù)安全。
在數(shù)據(jù)湖構(gòu)建場景下，開放的數(shù)據(jù)湖需要對(duì)接各種計(jì)算引擎，且會(huì)面臨計(jì)算資源與存儲(chǔ)資源擴(kuò)容速度不匹配、存儲(chǔ)系統(tǒng)需對(duì)接多數(shù)據(jù)源的問題，而借助KS3-HDFS，便可支持多數(shù)據(jù)源、多計(jì)算引擎能力，進(jìn)而實(shí)現(xiàn)計(jì)算存儲(chǔ)分離，保證計(jì)算業(yè)務(wù)的訪問性能。
面向離線分析場景，KS3-HDFS服務(wù)原生支持文件、目錄語義和操作，支持目錄原子性、毫秒級(jí)rename操作，適用于開源Hive、Spark離線數(shù)倉。
在交互查詢分析場景下，通過數(shù)據(jù)、元數(shù)據(jù)加速等加速能力，實(shí)現(xiàn)不低于本地HDFS的性能，滿足Presto/Trino等交互分析場景低延遲高吞吐要求。
金山云對(duì)象存儲(chǔ)KS3-HDFS數(shù)據(jù)湖存儲(chǔ)服務(wù)是基于對(duì)客戶業(yè)務(wù)場景的深入洞察而推出的，能夠滿足用戶提升資源利用率這一需求，助力企業(yè)進(jìn)一步降本增效。
截至目前，金山云已經(jīng)具備豐富和完善的存儲(chǔ)產(chǎn)品矩陣，包括對(duì)象存儲(chǔ)、歸檔存儲(chǔ)、塊存儲(chǔ)、文件存儲(chǔ)等，可針對(duì)不同業(yè)務(wù)場景，提供高可靠、低成本、安全的存儲(chǔ)服務(wù)。公司也將基于自身的深厚積累，持續(xù)為客戶提供更全能、性價(jià)比更高的存儲(chǔ)服務(wù)，助力垂直行業(yè)釋放數(shù)據(jù)價(jià)值。
