據IDC數據統計,2022年中國大數據市場總體IT投資規模約170億美元,并在2026年增至364.9億美元,實現規模翻倍,與全球總規模相比,中國市場在五年預測期內占比持續增高。湖倉一體作為核心數據管理架構,將對企業的海量多模數據管理和價值挖掘產生重要影響。
在數字化轉型加速的當下,數據已成為企業最核心的資產之一,因為它既是高效生產的基礎,又是經營決策的重要依據。在此背景下,金山云基于自身在存儲方面十多年的積淀,升級了對象存儲KS3-HDFS數據湖存儲服務。KS3-HDFS服務是一款基于對象存儲的數據湖訪問加速產品,兼容HDFS協議,能夠提供統一元數據管理能力,主要面向大數據生態等高吞吐、低延時計算分析場景,提供存儲加速服務,解決用戶在大數據場景下的本地存儲成本過高、資源耦合、彈性不足等痛點。
除原有的S3協議外,KS3-HDFS數據湖存儲還支持HDFS協議。這樣一來,用戶無需對現有的大數據分析應用做任何修改,即可像在原生HDFS中那樣管理和訪問數據。在支持常見目錄語義的基礎上,KS3-HDFS數據湖存儲還優化了常見讀操作List、Head,使得訪問帶寬全面提速,單鏈接可達100MB/s。
基于KS3自身彈性,金山云HDFS數據湖存儲服務還解決了HDFS彈性不足、成本高和資源利用率低這3大問題,能夠實現計算資源和彈性資源分別擴容,在極大降低存儲成本的同時,提升資源利用率。更重要的是,KS3-HDFS數據湖存儲服務通過Bucket配置,即開即用,以SDK的形式進行服務端訪問,可自動擴展、冗余備份,可保證服務的可持續和數據安全。
在數據湖構建場景下,開放的數據湖需要對接各種計算引擎,且會面臨計算資源與存儲資源擴容速度不匹配、存儲系統需對接多數據源的問題,而借助KS3-HDFS,便可支持多數據源、多計算引擎能力,進而實現計算存儲分離,保證計算業務的訪問性能。
面向離線分析場景,KS3-HDFS服務原生支持文件、目錄語義和操作,支持目錄原子性、毫秒級rename操作,適用于開源Hive、Spark離線數倉。
在交互查詢分析場景下,通過數據、元數據加速等加速能力,實現不低于本地HDFS的性能,滿足Presto/Trino等交互分析場景低延遲高吞吐要求。
金山云對象存儲KS3-HDFS數據湖存儲服務是基于對客戶業務場景的深入洞察而推出的,能夠滿足用戶提升資源利用率這一需求,助力企業進一步降本增效。
截至目前,金山云已經具備豐富和完善的存儲產品矩陣,包括對象存儲、歸檔存儲、塊存儲、文件存儲等,可針對不同業務場景,提供高可靠、低成本、安全的存儲服務。公司也將基于自身的深厚積累,持續為客戶提供更全能、性價比更高的存儲服務,助力垂直行業釋放數據價值。