數據湖的發展契機,來源于近年來的AI熱潮和云計算、5G的發展,在日益發展的海量數據時代,讓企業深刻地認識到數據已成為企業發展的核心資產,通過挖掘大量數據背后的價值,敏捷地處理數據分析,是提升數據洞察力的關鍵。
以往基于數據倉框架下的數據管理和應用模式,主要是用于分析來自事務系統和業務應用程序的關系數據,以達成結構化數據管理。數據在進入數據倉庫前,通過預先定義schema及業務情況,對數據管理進行開發建模,從而構建數據模型。用戶通過數據服務接口或者計算引擎訪問數據模型,來獲取相應的結構化數據。
而數據湖的建設理念,是將數據倉開發周期長、成本高、丟失細節數據等不足進行了完善。在數據湖體系中,構建企業級數據湖后,其數據處理的實際能力變得更強了。因為與”預建模”方式的數據倉不同,湖中的數據包括結構化數據、半結構化數據及非結構化數據等,不需要通過處理工作達到數據”可用”狀態。
相較于數據倉而言,數據湖無疑是節約了大量的IT資源,同時,大幅度增加了數據可用性。其中,算力彈性資源池可達500萬核,存儲數據超過數百PB,每日實時計算次數超過萬億,能支持上億維度的數據分析及決策。據相關數據統計,到2025年全球數據總量將超過160ZB,全球數據總量的近 20% 將成為影響日常生活的關鍵數據,而其中非結構化數據將占據全球數據總量的80%。數據湖的產生理念則是,將使用數據倉的壁壘處理到了極致。
近日在2021全球數字經濟大會拉薩分會場,柏科數據技術(深圳)股份有限公司與西藏寧算科技集團有限公司達成戰略合作協議,共同建設西部高原數據湖,在數據存儲中心、數據災備中心、數據渲染中心、行業大數據應用中心、信創云中心等系統解決方案與服務等領域展開深度合作。
目前,拉薩作為自治區首府城市、國家物流樞紐城市、面向南亞開放的中心城市,目前正加快發展數字經濟,努力打造具備區域帶動力和國際影響力的數字經濟高地。
一是加快建設“拉薩國際數字經濟園區”,加快打造“東數西算、東數西備”的國家級綠色數據中心和算力樞紐,推動數字進藏。二是加快建設“城市大腦”“智慧城市”,以數字化為長治久安增效賦能,系統提升社會治理現代化水平,推動數字治藏。三是加快推進數字產業化和產業數字化,通過“上云用數賦智”塑造特色產業新優勢。
會議上,寧算科技與柏科數據等信息科技領域的重點企業,達成數據湖全面戰略合作意向,共同建設“西部高原數據湖”,充分結合數據湖節點的布設,推進物聯網、智慧交通等未來數字化建設。以拉薩獨有的地理優勢和可再生能源為依托,運營全球海拔最高的綠色數據中心,布局面向南亞的國際離岸數據中心。以行業專網作為核心數據管道,部署安全可靠的云計算、大數據、物聯網和人工智能等新一代信息技術,以匯聚海量行業信息與數據上高原。