根據《IDC Market Perspective：中國大數據市場生態體系研究，2019》顯示，2018-2023年全球數據空間五年復合增長率(CAGR)達25.8%。而華為也曾在GIV 2025報告中指出：預計到2025年，全球每年新增數據存儲量為180ZB，企業的數據利用率將會達到86%。
不難看出，企業的數據量依然保持著持續快速的增長，數據將成為企業智能生產力，為企業在數字世界與現實世界的深度融合中提供全面的競爭力。那么，如何從規模龐大、多樣性的數據中高速準確地提取最有價值的數據呢?擁有一個靈活高效的大數據分析平臺就變得尤為重要。
傳統大數據分析平臺挑戰多
數據孤島：如今，企業擁有PB級數據已經成為常態，EB級數據時代也將很快到來。企業需要面向結構化數據、非結構化數據、實時數據等多種類型的數據提供高擴展且統一的數據管理和數據存儲能力。
剛性擴容：在數據空間持續增長的背景下，大數據應用場景不斷增加，對企業算力的需求也在加劇提升。而同時，新品發布、熱點事件等帶來的業務浪涌，也需要企業大數據系統擁有極致的彈性能力。
利用率低：大數據行業技術棧迭代迅速，企業自行構建IDC中心和自行部署軟件，一次性投資大，且折舊成本高，運營運維負擔沉重。
作業擁塞：隨著業務的發展，在數據量巨大的背景下，單次分析作業常需要讀取TB-PB級的數據，多任務并發下，極易出現作業擁塞。
面對以上挑戰，傳統的以私有數據中心為基礎的存算一體大數據架構，已無法滿足企業海量數據分析的需求。業界知名分析機構IDC在最新的報告中明確指出：企業上云已成必然趨勢。因此，在公有云上部署更靈活高效的大數據分析平臺，將成為企業的必然選擇。
華為云BigData Pro鯤鵬大數據解決方案來了
為應對以上挑戰，華為云已正式推出業界首個鯤鵬大數據解決方案-BigData Pro，實現五大升級，為企業提供存算分離、極致高效、極致彈性的大數據服務。同時兼容開源和商業大數據生態，企業大數據應用可0改造平滑移植上云。
存算分離 靈活高效
我們知道，當前標準的Hadoop大數據架構，存儲與計算是融合的。直觀的描述就是，計算服務器和存儲硬盤是配置在一起采購和部署的。這種方式帶來的問題是，由于計算和存儲是固定比例，當計算出現不足，而存儲還有很多空間的時候，企業就會遇到無法單獨擴容計算節點的問題，反之亦然。
據華為云云存儲服務總經理林超介紹，華為云BigData Pro最核心的優勢就是“存算分離”。在方案中，華為云基于云服務的天然優勢，對原有的架構進行了優化，推出了存算分離的架構，實現存儲和計算的靈活配置，單獨擴容，讓大數據集群的資源利用率提升75%，而綜合成本最高可降低50%。
華為云 云存儲服務總經理林超
超智存儲 海納數據
林超表示：“華為云BigData Pro鯤鵬大數據解決方案以彈性云容器CCI、彈性云服務器和DLI數據湖探索服務作為計算資源、以高性能的分布式云存儲OBS作為存儲資源，提供低成本、高可靠、無感擴容的大數據方案。”
在華為云BigData Pro鯤鵬大數據解決方案中，通過OBS對象存儲來管理企業海量數據。OBS具有業界領先的性能，支持千萬TPS超高并發，單流2.4Gb/s單流帶寬，超業界3倍;小對象上傳時延小于10ms，穩定低時延，業界領先。另外OBS海納數據體現在支持單桶千億對象，EB級海量存儲和PB級的數據處理能力。
傳統多副本的數據存儲方式，導致存儲系統的空間利用率僅有33%~50%,存儲空間浪費較大。而華為云OBS采用的是獨創的FlexEC算法，不只提供了高性能的數據訪問性能，更是把存儲空間利用率提升到了80%，企業存儲成本大幅降低。
不僅如此，OBS還擁有12個9數據可靠性，無限的彈性擴容能力，智能數據分級管理能力，多方式訪問能力，并且通過國家可信云認證，安全可靠。
鯤鵬算力 智能從容
據了解，華為云對開源K8s進行了深度優化，達到了1000個容器秒級彈性能力，特別有利于實時大數據分析對業務浪涌的彈性響應，并且引入Volcano隊列批量調度技術，支持容器的智能拉起等，讓企業大數據分析業務編排更加靈活;
使用內存級分布式緩存，結合自研的智能緩存算法，讓數據訪問性能提升10%以上;
國內首創的鯤鵬裸金屬容器技術，可以讓CPU的利用率提升一倍。
基于上述技術，華為云容器服務在大數據應用場景下，容器間請求轉發效率提升50%，數據面訪問性能提升10%，讓企業真正地做到從容應對數據智能時代。
生態開放 全面兼容
華為云BigData Pro解決方案支持當前最主流的大數據生態，不管您的企業當前使用的是開源大數據平臺版本，還是商用的大數據軟件軟件，都能以近乎0改造的成本，把業務平滑移植上到BigData Pro上。
場景豐富 應用加速
華為云BigData Pro大數據解決方案通過云服務的方式，讓企業大數據應用加速。目前，華為云BigData Pro鯤鵬大數據解決方案可滿足多場景的大數據分析處理：
在互聯網行業實現智能推薦，例如斗魚網絡基于華為云BigData Pro鯤鵬大數據解決方案，構建公有云上的存算分離大數據分析平臺，分析時長縮短35%;
在金融行業，可實現信用和風控管理;在電信行業，可提供客戶畫像與運營決策的大數據分析服務，以及在衛星氣象領域包括大數據量實時分析等多種應用場景。
寫在最后。隨著5G、IoT、VR/AR、自動駕駛等技術的發展，會涌現更多大數據應用的創新，而面對海量數據帶來的算力需求不均、數據結構的多樣化、高并發作業等諸多挑戰，華為云BigData Pro鯤鵬大數據解決方案通過存算架構進化、多核算力加持、極致彈性的鯤鵬云容器和原生多協議的云存儲，為企業打造出全新的數據智能底座，正重新定義企業的大數據未來。
9月18日-9月20日，2019華為全聯接大會(HUAWEI CONNECT 2019)將在上海世博中心舉辦，各種最新黑科技、產品與解決方案將重磅亮相，敬請期待。
