在本次新冠肺炎疫情防控戰中,“云計算+大數據分析”發揮了至關重要的作用,對疫情態勢研判、疫情防控部署以及對流動人員的疫情監測、精準施策有重要的支撐作用。與此同時,“云+大數據分析”也進一步加快了企業數字化轉型升級的步伐。
日前,阿里云、騰訊宣布將斥資千億元用于云上數據中心建設,新生代互聯網公司快手也宣布投建首個云上大數據中心,云+大數據分析作為基礎設施的融合性應用建設再次提速。
那么,云上大數據分析如何幫助不同用戶以低成本挖掘數據價值?有哪些廠商基于哪些路徑在推動云上大數據分析的基礎設施建設?一直以來制約行業企業上云的痛點解決了嗎?
以低成本挖掘數據價值
云計算與大數據的關系就像一枚硬幣的正反面一樣密不可分。基于云計算的分布式數據庫、云存儲、虛擬化技術進行大數據分析,能讓不同類型用戶以更低門檻進行數據的分布式收集、過濾、處理、分析、存儲工作,挖掘數據價值。
大數據非在云端進行不可?中國軟件評測中心云計算測評部總經理李安倫對《中國電子報》記者說,大數據業務其實分為云化和非云化兩種,非云化的大數據分析在數臺造價昂貴的高性能計算機上完成,這并不是每一家公司都能負擔得起的。這樣一來,大數據分析的門檻變得很高,參與者少了,產業也無法真正發展起來。
南京大數據研究院院長、中國大數據應用聯盟人工智能專委會主任劉鵬在接受《中國電子報》記者采訪時表示,云端能為大數據提供可以彈性擴展、相對便宜的存儲空間和計算資源,海量數據在云端實現挖掘,不需要把數據搬來搬去,節省了中間的多種成本,可以讓中小企業像大型企業一樣通過云計算來完成大數據分析。
“事實上,大數據分析需要的是海量的高價值數據,以匹配相應的模型做出預測和分析。因此,一些作為市場配置要素的高質量數據會率先作為重要的戰略資產上云,產生數據經濟效應,帶動產業發展,幫助企業實現增收。”李安倫指出。
什么樣的業務需要挖掘數據價值?北京大學大數據科學研究中心研究員劉云淮向《中國電子報》記者指出,需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產,以商業智能(BI)和人工智能(AI)為典型。對于商業智能而言,云端大數據分析能幫助企業明確業務需求、數據結合與關聯、培養數據分析人才。而AI的迅速崛起則是依賴數據的爆炸和計算能力的爆炸,這需要強大的大數據處理能力。有了各行各業基于AI識別技術和深度學習的爆發式需求推動,將更加穩固云端大數據分析作為基礎設施的重要地位。
企業上云意愿增強
當前,云+大數據分析已經由最初的商品化、平臺化,發展到生態化的階段,每個有能力、有體量的廠商都在基于云計算布局自己的大數據生態。正所謂“得數據中心者得云天下、得生態者得天下”。“然而,某個企業的力量再強大終究無法推動整個產業的發展,只有進一步開放、降低門檻,才能借助各方力量豐滿自己的生態。”李安倫表示。
云端大數據分析最重要的價值是基于數據模型進行分析和預測,從目前來看,有此類業務訴求的行業企業,應用云端大數據分析的意愿最為強烈,其中包括政務、工業、商業智能。
政務方面,近兩年多地設立大數據管理局等相關管理機構,不斷加強使用云+大數據的規劃設計,致力于提升治理能力和現代化能力。蘭州市在政務大數據平臺的幫助下,在線辦理事項已經超過660項,可辦率達96.77%。福州市行政服務中心增設了“政務數據”欄,能夠反映該類窗口的當前等待人數、平均排隊時長、平均受理時長等,方便市民安排辦事時間。
工業方面,我國部分工業企業通過多年的信息化改造,已經有了海量可以沉淀的數據,數據質量大幅提升。三一重工通過自主研發的大數據儲存與分析平臺,將20多萬臺客戶設備實時運行情況的40TB數據通過傳感器傳到后臺進行分析和優化。而德國作為工業4.0概念的提出者,在工業大數據領域走在了前列,西門子、博世具有強大的云端大數據中心,近千個制造單元僅通過互聯網進行聯絡,大多數設備都在無人力操作狀態下進行挑選和組裝。
商業智能方面,自然少不了國內外云計算巨頭廠商的身影。作為最大的電商平臺之一,亞馬遜運營團隊每次跟蹤的數據以PB為單位。2019年,亞馬遜開始布局全球最大的物流網絡——數據湖。一來將多個數據中心組合成一個超大數據中心,打破運營團隊間控制的數據隔閡,獲得完整研判圖像;二來有助于加速AI機器學習進程,使得其能從現有數據中學習統計算法作出有關新數據的決策,提高推理的準確性。
微軟Azure大數據服務也越來越具吸引力,其構建的大數據分析基礎設施提供了信息管理、存儲、機器學習、分析和認知服務的能力。企業可以在Azure市場中從大數據和高級分析合作伙伴中訪問應用,降低用戶享受云上大數據分析業務的門檻。
除了這些云計算的“老字號”,一些“后浪”也不斷躋身這個市場。在我國,今年6月,短視頻平臺快手公司宣布投資百億元打造智能云大數據中心項目。由于“直播+短視頻”已經成為各行業數字化轉型的重要方式之一,快手通過自建大數據中心的方式將其短視頻和直播業務的海量數據分析搬到云上,把握用戶各維度數據的分析和預測能力,使其長期保有業務優勢。
數據安全掣肘產業發展
云+大數據分析的應用場景現在已經逐步清晰,我國各行業都面臨著轉型的關鍵時期。在新基建背景下,云+大數據已經走到了加速落地階段,可以預見未來將帶動一批又一批的業務上云。
數據顯示,截至2019年,我國各行業企業上云率僅有40%,遠低于歐美國家。在賽迪顧問大數據產業研究中心高級分析師張凡看來,對于傳統企業來說,重構傳統業務系統的難度較大,上云將會導致企業業務架構的大幅改變,主要對自身業務系統進行重新梳理,并協調其中的利益關系。對于部分愿意上云的企業來說,他們仍然會選擇分環節上云,率先將人力資源管理、市場宣傳等數據效能較低的環節上云,而財務等關鍵環節暫無上云意愿。這是因為云服務商還沒能解決上云數據的所有權、數據安全、數據濫用等問題。
IaaS提供商的基礎設施是云服務商自己建立的,具有良好的擴展能力,但這種架構解決方案的挑戰是底層組件通常沒有為多租戶架構提供強大的隔離措施,會給上層的客戶機操作系統或底層平臺帶入隱患,造成數據所有權不明確,極容易遭到泄露和濫用。Facebook接連發生了兩次數據泄露事件,波及范圍非常大,造成了極大的損失。企業的顧慮不無道理。
對此,李安倫表示,對于云服務商來說,要制定一套更加完整、全面的數據安全解決方案,從數據存儲持久性、數據可銷毀性、數據安全性、數據所有權幾個方面為用戶建立防護技術,并做好大量的安全認證工作;對于上云企業來說,應該與服務商共同承擔數據安全保護責任,從監控、入侵防御、數據備份、加密部署等多方面做好安全措施。此外,國家從政策層面也要加強數據安全頂層設計,進行數據資源確權,明確哪些數據能對社會或他人開放應用,這樣才能使云計算和大數據的融合1+1大于2。