想必大家都聽說過盲人摸象的寓言故事,這則寓言告訴我們,每個人摸得都是象的一部分,而部分并不能代表全部。事實上,任何事物只關注于一點,似乎都會落入以偏概全的誤區當中。進入大數據時代,企業內部的數據越積越多,以前企業只知道將數據存起來,認為這就是企業的價值所在。
青云QingCloud大數據產品經理劉雄風表示,大數據的價值并不是數據本身,而是數據背后所隱藏的對業務有影響的信息和知識。以Wikipedia的數據金字塔為例,從數據層到智慧層,每往上一層,對應的數據量就會小一點,而對業務的影響價值就會更大一些。而要從海量數據中提煉出有價值的信息和知識,需要經過很長鏈路的流式處理,如果沒有一套完整的系統保障這條鏈路的高效運轉,則很難實現這一目標。
“此時,企業需要的并不只是Hadoop、Spark和Flink等大數據產品組件的堆疊,而是需要以大數據技術為基礎,通過構建端到端的全鏈路解決方案,真正盤活數據資產,以獲得數據洞察價值。”劉雄風表示,青云大數據工作臺便是出于打通大數據全鏈路的初衷,通過整合青云完整的數據產品和服務,為客戶提供了一個一站式智能大數據開發與治理平臺。
為打通大數據全鏈路而生
朱熹“問渠那得清如許,為有源頭活水來”的詩句表明,池水之所以如此清澈透明,是因為有源源不斷的活水注入。對于處于數字化轉型過程中的企業來講,企業的數據洞察能力就猶如注入池塘的一股活水,能夠不斷地為企業輸入發展動力。
目前,青云大數據工作臺上線了1.0版本,主要具備“數據集成、數據加工、統一數據存儲和服務”功能模塊,為企業數據價值挖掘提供支持。與此同時,通過云原生、全托管式計算引擎、全生命周期數據開發、高效的數據同步服務、豐富業務場景的五層架構支撐,青云大數據工作臺還能夠應對大數據全鏈路場景下的復雜需求。
劉雄風表示,青云大數據工作臺旨在降低大數據使用門檻,將代碼開發降到最低,讓非技術人員也能進行大數據分析,實現數據在云平臺各產品之間快速流轉,支撐上層業務,消除企業“數據孤島”,實現數據的統一調度和計算,進而幫助企業挖掘數據價值,提升整體的數據洞察能力。
具備了數據洞察能力,便能夠讓企業從海量、模糊、復雜、混亂的數據中識別和發現正確信息,從而更加高效合理的利用數據資產,實現真正意義上的“數據決策”。“行業中廣泛定義的數據中臺建設,是為實現數據快速、準確、低成本賦能業務發展目標,將企業數據進行統一整合,并基于One Data方法論而搭建的,主要以大項目的定制化方式進行私有化交付,成本更大,周期也更長。而青云大數據工作臺則采用云原生架構,基于Kubernetes實現資源的調度,聚焦于數據使用場景下,解決數據集成、流批一體計算、統一運維和統一數據服務共享的問題,并通過一站式、便捷低成本的方式,幫助中小型企業快速發揮數據價值,構建‘云上數據中臺’。”劉雄風如此說道。
“周到”的功能特性 讓數據管理化繁為簡
數字化競爭日趨劇烈,在挖掘數據價值的過程中,數據的應用和管理是企業能否獲取更大優勢的關鍵。身處其中,云服務商應該提供一整套的工具和平臺,幫助客戶打通所有平臺,連接所有數據。
在此過程中,青云堅持“與時俱進”的技術創新,并通過“化繁為簡”的方式,致力于從根本上解決企業用戶在云環境下面臨的各類數據挑戰,最大化的釋放出數據的潛能。以青云大數據工作臺為例,通過提供五大功能,進一步簡化了企業的數據管理:
一是數據上云。青云大數據工作臺提供本地數據源上云服務,支持結構化、非結構化、半結構化的數據,可將數據安全地同步到云端,后續計算在云端完成,充分釋放了企業的服務器壓力。目前支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數據源。同時,支持連接串模式數據源的創建,對接入的數據源能夠進行列表展示和管理。
二是數據開發。在云上的大數據開發環境,青云大數據工作臺可將數據進行加工,支持實時處理、離線批量處理。同時,根據業務需求,客戶可以選擇“可視化算子拖拽、界面化SQL開發、Jar包提交”三種方式構建數據開發任務,滿足多維度的開發者進行任務構建的需求。
三是數據同步。企業可將處理完的結果數據,根據數據特性,存儲在不同的存儲介質當中,以備使用。為此,青云大數據工作臺提供了向導式和腳本式兩種數據同步方式:向導式同步通過便捷、簡單和可視化的智能映射,就能快速地按步驟完成數據的配置和數據集成的讀取和寫入;腳本式同步是以SQL文本的方式提供給客戶,進行深度配置和調優,簡便高效。
四是作業運維調度。青云大數據工作臺自主研發的調度和任務管理模塊,可以同時根據任務維護和資源分配維度進行分別監控,實時跟蹤計算的飽和度,提醒企業根據需求調整計算資源,助力全流程高并發處理。
五是引擎資源管理。青云大數據工作臺提供云端全托管Flink集群,可快速完成計算集群部署;具備云原生彈性擴容能力,節省資源,提高資源利用率;提供細粒度資源管控,最小資源使用粒度僅0.5 CU,實現精細化資源管控;支持按量和包年包月計費,適配不同需求,價格低廉,安全穩定。
劉雄風表示,從數據上云到引擎資源管理,青云大數據工作臺具備開箱即用、彈性擴容、存算分離、開放兼容、安全可靠、生態整合六大產品特性。同時,基于云原生架構,青云大數據工作臺可以部署在開源的Kubernetes容器平臺上,對于客戶來講,使用起來更加開放和包容,能夠實現跨云、跨容器、跨廠商的實時運行。
“與具有互聯網背景的公有云廠商相比,青云大數據工作臺基于云原生架構,所提供的大數據服務將會更加自由。在需求方面,基于真實的客戶場景,抽取最大化的公共需求,聚焦業務問題,優化產品體驗,以極簡的操作步驟,解決客戶的核心業務問題。與通用大數據企業相比,青云大數據工作臺可依托公有云提供的天然 Demo、快速反饋更新能力,便捷推廣和迭代產品。彈性計費和靈活擴縮容也能夠幫助客戶節省成本。”劉雄風進一步說道。
與時代同頻共振 青云一直在行動
如今,青云大數據工作臺能夠支撐精細化運營分析、實時計算、可視化開發運維,以及構建數倉等應用場景,可以根據物聯網、工業、制造、科研等不同行業、不同企業的業務需求,提供具有針對性的服務。而談及未來迭代演進,劉雄風表示,將聚焦數據治理、數字資產、優化體驗三方面,在客戶體驗、數據運行、穩定性、容錯性等方面進行整體的優化和提升。
自成立至今,青云技術與產品的創新迭代都在緊跟客戶需求的變化。同時,始終堅持以原創的、業界領先的技術與產品服務產業數字化轉型,并以開源、開放的信念和姿態,與開發者和合作伙伴共同構建新生態。身處大數據時代,青云選擇與時代共振,依靠技術和市場驅動,不斷踐行初心。
可以看到,從2014年到2018年,青云在廣度上實現了數據產品和服務的全覆蓋。2018年以來,從產品和服務的深度入手,對各個產品性能、服務質量、服務范圍都進行了全方位的提升。目前,青云已經推出了近30款數據產品和服務,同時集成優秀的合作伙伴應用,形成了包括數據庫與緩存、消息隊列與中間件、大數據服務、數據倉庫與BI、對象存儲在內的數據產品生態。
如今,青云大數據工作臺的發布,進一步豐富了青云數據產品生態,為企業從海量數據中提煉有價值的信息和知識提供了一套完整的系統支持。不僅如此,青云大數據工作臺還與KubeSphere容器平臺和IoT平臺形成合力,組建了“青云大數據工作臺+KubeSphere+IoT”三位一體的技術方案,并在環保行業和工業行業落地應用,幫助客戶實現實時數據分析、BI數據統計、全量歷史大數據分析和業務系統的數據分析、存儲、查詢、呈現等。
“青云大數據工作臺+KubeSphere+IoT”三位一體技術方案
“通過深耕工業、物聯網等細分領域,我們形成了一整套相對標準的體系和方案。接下來,我們將推廣到其他的行業客戶中,除了應用到智慧工業上,我們還能應用到智慧零售、智慧政務和智慧校園,覆蓋到四個‘數智’化場景,持續產生‘數智’化價值。“劉雄風如此說道。