從隨手滑動網頁時的廣告，或是突然收到的銀行理財推薦，再到出門在外到處掃一掃的各種“碼”，生活中越發能夠感受到大數據所帶來的變化。企業正試圖通過大數據來拉近與消費者間的距離，優化自身生產效率。
據賽迪顧問預計，到2023年，大數據產業規模將達到1萬億元，到2027年，將會達到1.8萬億元。隨著產業規模的持續增長，企業機構對于大數據的業務需求也更加深化。“沒有一套完整的系統保證這條鏈路高效運轉的話，就很難保證從數據中提煉出有價值的信息和知識。”青云QingCloud大數據產品經理劉雄風表示“打通大數據全鏈路”已經成為了客戶的重要訴求，而若想實現這種“打通”能力，自然需要在大數據領域的常年積累。
與大數據時代同頻共振
“與大數據時代同頻共振，青云大數據一直在行動。”劉雄風介紹稱，從2014年到2018年，青云先從廣度上實現了數據產品和服務的全覆蓋。自2018年以來，又持續從深度入手，對各個產品性能、服務質量、服務范圍等方面進行全方位提升。
截至目前，青云已經推出了近30款數據產品和服務，同時集成優秀的合作伙伴應用，形成了包括數據庫與緩存、消息隊列與中間件、大數據服務、數據倉庫與BI、對象存儲在內的數據產品生態，從而讓青云具備了構建一個完整的、可插拔的、全流程的大數據平臺的能力。
與此同時，大數據產業也迎來了快速增長。例如中小型互聯網或者移動互聯網企業開始通過積累大量用戶數據，來進行用戶畫像分析，從而提供匹配個性化需求的內容、資訊、商品信息服務。智慧工廠通過對物聯網設備的實時數據分析來提升生產效率，通過實時風控來提升安全性。科研機構通過分工協作進行多維度計算，實現挖掘實時科研數據、數據處理，并輸出科研分析報告。
劉雄風觀察到如今客戶的需求也從最初的“底層資源”問題逐步進階到“數據層”問題，例如云平臺上已有的數據庫、數據倉庫、消息隊列等服務中的數據，需要數據同步服務來打通彼此之間孤立關系。數據計算的實時性也與企業的效率越來越呈現正相關，企業希望擁有獨立的實時計算平臺來加快數據上云后的實時計算速度，進而發揮最大的數據價值。另外在數據開發和作業運維調度層面上也呈現出新的需求。這種情況下，過往所提供的組件類產品和服務就難以充分滿足需求。
打通大數據全鏈路
基于客戶的多種真實需求反饋和實時數據處理的新挑戰，青云大數據工作臺應運而生。其初衷在于打通大數據全鏈路，整合青云完整的數據產品和服務，為客戶提供一個一站式智能大數據開發和治理平臺。
打通大數據全鏈路的意義在于，大數據技術可以形象的看作對最原始的數據進行集成、處理、加工、提煉，由數據、信息、知識、智慧所構成的金字塔，每上一層數據量就越小，對業務的影響價值卻更大更快。而要從海量“數據”中最終提煉出“智慧”，要經過一條很長的數據流鏈路，這條鏈路的高效與否，將最終決定企業的數據掘金效率。
青云大數據工作臺包含了數據集成、數據加工、統一存儲和服務這三個環節的鏈路流程，接駁了由數據到智慧的整個過程，為企業數據價值挖掘提供支持。該工作臺基于云原生架構，以 Flink 流批一體的計算引擎為基礎，同時兼容多種計算引擎為一體的計算資源服務。提供全生命周期的數據開發服務與高效的數據同步服務，可幫助客戶應對豐富的業務場景，包括BI商業智能分析、用戶畫像、增長分析和數據大屏等應用，能夠支持精細化運營分析場景、實時計算場景、可視化開發運維場景、構建數倉場景四大使用場景。
青云大數據工作臺所提供的完整功能模塊，可以幫助企業輕松完成大數據開發與治理全流程的部署、運行和管理。數據上云模塊可將數據安全地同步到云端，支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數據源。數據上云完成后便可進行數據開發，通過可視化的界面，可以讓客戶用拖拽的方式部署每一個工作節點，并直觀的了解其中的依賴關系。處理完的結果數據可以根據不同特性，存儲在不同的存儲介質當中，可通過向導式同步或腳本式同步兩種方式進行。接下來的作業運維調度工作中，通過青云自主研發的調度和任務管理模塊，可以同時根據任務維護和資源分配維度進行分別監控，實時跟蹤計算的飽和度，提醒企業根據需求調整計算資源。最后通過云端全托管Flink集群，幾分鐘即可完成計算集群的創建和部署。
在青云大數據工作臺未來規劃中，廣與深的升級理念還將進一步延續，一方面將會加入數據治理和數據資產兩大功能模塊，完善大數據的全鏈路流程。另外還將優化體驗，針對不同的開發視角和操作，在客戶體驗、數據運行、穩定性、容錯性方面，進行整體的優化和提升。
提及大數據類產品的版本更迭，很多人都容易想到不少大數據公司在產品架構上越發復雜化的升級，以及缺少一定自由度與彈性的問題。青云大數據工作臺則在面世之初，就已經呈現出了明顯的比較優勢。
高效自由的青云大數據工作臺
作為一家以“云之基石·自由計算”為初心的云計算企業所打造的大數據產品——青云大數據工作臺優勢也充分體現在此，兼顧了云服務的輕松部署與彈性，同時又開放自由，具有極高的兼容性。
客戶一方面可以依托青云公有云提供的天然 Demo，實現開箱即用，幾分鐘即可完成環境的創建和部署，使用中還能快速進行迭代升級，享受到云平臺本身的彈性計費和靈活擴縮容。而如果是使用大數據公司的產品，往往需要在搭建部署，以及后續升級上花費較長的時間，并缺少在遇到增量波動時的資源靈活性。
另一方面，客戶還能如同使用大數據公司的產品一樣，獲得良好的跨平臺兼容性。青云大數據工作臺依托 KubeSphere 云原生容器平臺能力，所提供的大數據服務更加自由，可以兼容不同容器平臺進行獨立部署。通過擁抱開源，青云大數據工作臺還實現了百分百兼容Apache Flink，讓客戶輕松實現遷移。借助生態整合，又能使云平臺上的數據流轉更加便捷。
同時，面對目前很多大數據產品愈發功能復雜化的趨勢，以及一些產品體系中負載越來越重的歷史包袱，青云在需求方面，基于真實的客戶場景，抽取最大化的公共需求，聚焦業務問題，優化產品使用體驗，以極簡的操作步驟，解決用戶的核心業務問題。
“青云大數據工作臺+KubeSphere+IoT”三位一體技術方案
面向最終的場景落地，青云大數據工作臺能夠與青云的KubeSphere容器平臺和IoT平臺形成合力，構建“三位一體”的技術方案。例如，在目前采用該方案的某中國環保行業領導者的實踐中，青云大數據工作臺能夠對工控數據實時處理、分發、脫敏，熱數據存儲在數據倉庫，全量數據存儲在對象存儲，最后將數據進行應用和展示。
另一工業自動化測試設備與整線系統解決方案廠商也通過與青云合作，建設統一的“物聯網+大數據”平臺。針對不同數據源，由IoT平臺進行“云、網、邊、端”的統一控制，客戶可以將數據通過消息中間件統一傳輸到大數據工作臺上，再做原始庫數據集成的操作。原始庫可單獨對外提供數據權限、數據存儲和數據查詢的服務，或進行二次加工，形成最終結果庫。
據悉，通過深耕工業、交通等細分領域，目前青云已經形成了一整套相對標準的體系和方案，未來將會覆蓋智慧工業、智慧零售、智慧政務和智慧校園四個“數智”化場景。
青云大數據工作臺無疑是青云在與行業“同頻共振”的新節點，秉承打通大數據全鏈路的理念，與行業場景深入適配，展現出不同于以往大數據產品比較優勢的全新突破成果。劉雄風最后這樣表示：“我們所追求的是幫助企業激活數據資產，釋放數據價值，加速更多企業數智化進程的青云大數據正在路上。”
(來源：新視線)
