當前,在全球企業“上云”浪潮熱度不減的背景下,企業紛紛將目光聚焦智能升級,衍生數據量因此面臨爆發式增長,對數據處理、人工智能等業務需求也日趨迫切。新的議題由此浮出水面:在云端,企業如何能夠在充分利用云計算特性的同時,實現高效的大數據分析、計算、并充分挖掘建立數據的智能模型?
近日,Mobvista匯量科技的新一代大數據智能平臺 EnginePlus攜手華為云,實現產品技術層面的深度集成,從而賦能更多云端用戶、助力其業務增長。
▲EnginePlus與華為云實現深度集成
技術深度集成 為用戶提供一站式服務
據了解,EnginePlus將大數據與云計算、人工智能等信息技術融合創新,實現了數據攝入、數據計算、模型訓練、在線預測的一站式閉環;而華為云則將華為30多年在ICT領域的技術積累和產品解決方案開放給客戶,致力于提供穩定可靠、安全可信、可持續創新的云服務。
此次合作中,EnginePlus 與華為云進行了深度集成,包括在華為云 CCE 容器引擎之上構建的彈性統一計算引擎,在華為云 OBS 對象存儲之上構建的湖倉一體數據框架 StarLake,以及在離線統一的 MindAlpha AI 框架。
EnginePlus 在華為云上實現了高彈性、高性能、計算存儲分離的架構,并能夠實現便捷、快速的部署。牽手華為云后,EnginePlus 將以其云原生、一站式數據智能的服務,賦能華為云全球客戶,為其提供從數據分析到智能模型決策的一站式服務。
EnginePlus:大數據 + AI + 云原生
記者了解到,EnginePlus聚焦大數據 + AI + 云原生的“三板斧”,為客戶提供面向多種業務場景的實時數據湖框架 StarLake、機器學習框架 MindAlpha 等自主研發的開源工具,并能夠與 Spark 計算框架深度集成,從而賦能客戶實現更加高效便捷的數據智能升級。
· 自研數據湖框架 StarLake
據介紹,云原生的數據分析架構,經歷了從傳統數倉,到數據湖,再到湖倉一體的演進。EnginePlus團隊就此進行了最前沿的數據分析架構實踐,自研并開源了數據湖框架 StarLake,實現大規模數據的實時攝入和更新,高效構建湖倉一體化分析平臺。
相比開源同類數據湖框架,StarLake 具有行列 upsert 功能、高并發入湖、元數據管理強拓展性、對象儲存 IO 性能深度優化等特點,能夠幫助開發者更好地面對上云和數據處理過程中的挑戰。
同時,EnginePlus 整合了云原生計算平臺 Spark on K8s,能提供極速資源伸縮,滿足企業超大規模數據請求與高效彈性的需求。此外,StarLake還可無縫對接匯量科技自研的開源機器學習框架 MindAlpha ,對數據進行人工智能建模。
·自研機器學習框架MindAlpha
除了數據湖外,對數據進行人工智能建模,更是挖掘數據背后價值、賦能業務的一條重要途徑。
EnginePlus團隊自研并開源了機器學習框架 MindAlpha,能夠輕松處理超大規模離散特征,并與 EnginePlus 平臺之上的 Spark on k8s、StarLake 無縫結合,提供數據智能升級的一體化服務和一站式的高效體驗。
據悉,MindAlpha 的開源 Parameter Server SDK 支持千億級大規模稀疏離散特征,與PyTorch、Spark MLLib 無縫銜接,特征處理與模型推理邏輯和參數能全自動導出至線上 Serving 服務。其實時特征達到毫秒級延遲水平,真正做到實時反饋,快速捕捉用戶行為。
同時,其高性能在線 Serving 能進行模型橫向切分,支持萬億參數,具有低延遲、自動彈性伸縮的特性,能進行CPU、GPU 異構混布調度和負載均衡。
·云原生:無縫適配 高效部署
據了解,云原生架構具備高性能、高可擴展、一致性、符合標準、容錯、易于管理和多云支持等特性,EnginePlus基于云原生架構,在計算存儲分離的背景下,能針對對象存儲系統專門優化,其所有組件也均可實現彈性伸縮。
對于華為云用戶來說,EnginePlus能夠無縫適配華為云的使用環境、支持一鍵快速部署,可有效提升企業效率、大幅度降低企業構建系統和運維的成本。
打造“SaaS工具生態” 賦能更多企業
據了解,2019 年,Mobvista匯量科技提出“SaaS 工具生態”戰略:通過構建更完善的產品矩陣,覆蓋開發者由小到大發展過程中,從統計分析、用戶增長和商業化到云成本優化等不同階段的核心場景。脫胎于匯量科技自身業務實踐的EnginePlus,作為“SaaS 工具生態”的重要組成部分,也將與華為云共享“技術外溢”成果,從而賦能更多用戶,助力企業的數字化轉型之路。
