隨著“互聯網﹢”概念的持續深入推進以及數字技術的不斷成熟,大數據的應用和服務持續深化,市場對大數據服務的需求也在持續增長,帶動大數據產業迅猛發展。據知名市場分析機構IDC近日發布《IDC全球大數據支出指南》顯示,2020年全球大數據相關硬件、軟件、服務市場整體收益將達1878.4億美元,同比增長3.1%。2020年中國大數據相關市場的總體收益將達104.2億美元,同比增長16%,增幅領跑全球大數據市場。
在數據量呈指數型增長的當下,傳統的大數據服務已經力不從心,基于云端的大數據服務憑借更加智能、安全、可彈性伸縮、部署速度快、成本低等特點,成為了近年來的發展趨勢。金山云基于對市場的深入洞察,面向金融、公共服務、醫療等領域對大數據服務的全新需求,于近日重磅推出全新航母級大數據云平臺。
大數據云平臺基于金山云龐大的云端計算資源,集成了人工智能技術,面向大規模及超大規模數據處理場景,為客戶提供從數據采集、存儲到分析利用的全棧式大數據服務,助力客戶一鍵搭建各類大數據應用,加速業務應用創新和數據能力輸出。
融合數據中臺和數據湖理念,實現“八個統一”
大數據從最開始的概念炒作到后來的探索嘗試,再到現在的應用挖掘,其巨大的價值潛力和行業影響力,正深刻變革著各行各業原有的生產方式,雖然數據本身是座金礦,但是如何找到合適的方式把黃金從礦石中提煉出來,這才是最為關鍵的部分。傳統的大數據服務已經愈發無法滿足更大規模、更大數據量的處理需求,更高效率從數據當中獲取洞察、實現更精準的趨勢預測和輔助決策,成為新時期的發展趨勢。
金山云大數據云平臺融合數據中臺和數據湖理念, 集數據存儲、數據加工、數據展現及數據運營和治理于一體,通過將后臺各式各樣的資源轉化為前臺易于使用的能力,實現了“八個統一”,包括數據開發平臺、服務平臺、運維平臺、分析平臺、管理平臺、數據體系、用戶體系、門戶的八大統一,實現一站式可視化數據開發。
其中,數據中臺作為企業中臺的有機組成部分,通過數據的采集、存儲、分析和服務將后臺各式各樣的資源轉化為前臺易于使用的能力,與中臺的其他組成部分協同,幫助企業滿足以用戶為中心的業務定制和模式創新。數據湖作為一個大型的存儲庫和處理引擎,提供海量的數據存儲,巨大的處理能力,以及處理幾乎無限的并發任務或作業,加速數據的攝取并且極大便利了對新數據的價值挖掘。
大數據云平臺集結了八大組件、兩大支撐體系和一套公共服務。每一個組件都達到了“航母級”標準。其中,標準化組件涵蓋數據采集、數據集成、數據開發、數據分析、數據服務、智能調度、數據管理和存儲計算八大功能,大數據運維和大數據運營兩大支撐體系,實現從監控告警、健康檢查、服務管理、統一日志、產品管理、資源計量等的統一管控。公共服務則包括平臺門戶、項目管理、資源管理、用戶管理幾大類別,為用戶提供高效的數據管理能力。
強化云端能力,構建面向未來的云原生大數據云平臺
大數據經過十多年的發展,在諸多行業取得了卓有成效的應用,但是在落地過程中,也出現了一些問題。例如,對于一些大型金融企業,存儲和計算資源增加之后,無法很好地進行云化和統一調配,數據孤島不減少反而增多,不僅增加了運維難度,也使得新業務嘗試掣肘重重;對于物聯網領域的一些企業,終端規模大,數據實時性強,對平臺的處理能力要求較高,面臨性能和規模的新瓶頸,這些都是在大數據逐漸落地過程中出現的新問題。
金山云從云端出發,技術能力持續延伸,通過大數據、人工智能與云計算技術互相融合,推動大數據服務向4.0階段——云原生大數據平臺快速發展。借助云原生環境,可以加快應用發布的節奏,有效的降低解決應用發布周期長的問題,極大地增加資源使用的靈活性,提升資源使用效率。
在云化能力方面,作為面向企業級的新一代大數據PaaS平臺,金山云大數據云平臺打造為云而生的大數據生態,提供云端數據采集、數據集成、數據管理、數據開發、作業調度等一站式大數據處理環境。同時,降低混搭架構運營運維復雜度,提供資源彈性伸縮,并支持資源彈性伸縮、多租戶管理、服務高可用等完善的云化特性。此外,金山云大數據云平臺支持多云異構環境,不僅可以高效運行在金山云的IaaS平臺上,其他主流的IaaS平臺也都可以支持大數據云平臺的部署,充分體現平臺的靈活性。
在規模能力方面,金山云大數據云平臺破除Hadoop、MPP等關鍵系統的規模瓶頸,底層引擎具備高度的可擴展性,支持高達萬臺規模、百萬級別作業調度、百萬QPS 實時處理 、十萬以上節點采集規模,保障大規模集群的正常運行。
在應用場景方面,金山云為某金融機構搭建的智能統一調度系統和大數據開發平臺,實現了大數據任務、機器學習任務等多策略調度,同時與IaaS資源管理層充分整合,提供一站式拖拽、所見即所得的任務編排能力,通過大數據和機器學習資源的精細控制和隔離,極大提升整體資源利用率。
金山云全新航母級大數據云平臺主要面向金融、公共服務、醫療等領域,通過構建AI驅動的大數據云平臺,為智慧金融、智慧城市、智慧醫療等領域提供強大的智能化決策支持。面向未來,金山云大數據云平臺將持續完善技術產品服務體系、優化數據處理性能,幫助客戶快速構建全新的大數據落地能力,更高效地掘金萬億級大數據服務市場。