數據是產業數字化和物聯網最重要的資源之一。如何讓數據平滑流轉起來，并進行計算、分析和治理，從而驅動企業更高效地進行數字化轉型和業務創新，是一件很重要也很有價值的事情。
為了打通大數據全鏈路，青云科技正式發布大數據工作臺，通過為企業提供“數據上云、數據開發、數據同步、作業運維調度、引擎資源管理”的功能模塊，降低企業大數據使用門檻，讓非技術人員也能進行數據開發與治理，一鍵開啟數據洞察之旅。
數據流轉、計算、分析和治理面對的挑戰
要讓數據平滑流轉起來，并進行計算、分析和治理，其中包括了幾個方面：
一是數據同步。云平臺已有的數據庫、數據倉庫、消息隊列等服務中的數據，需要數據同步服務來打通彼此之間的孤立關系。對多源異構數據提供開放的數據集成能力，不僅能集成青云自己的數據源，還能集成企業自建的、甚至其他云平臺的數據源。
二是實時計算。在 IoT 場景中，通過 IoT 采集網關將數據采集到統一的平臺后，需要大數據平臺對大量的設備數據、監控數據等進行分析、挖掘，最終轉化為設備報告和流程優化相關的信息和知識。這種反饋實時性越高，對企業降本增效的效果會越好。
三是統一作業運維調度。任務調度系統已成為大數據平臺不可或缺的一部分。任務量多、數據量大，容易導致前面的任務尚未結束或者失敗，后面的任務也開始運行起來，最終跑出錯誤的分析結果。隨著任務量的增加和依賴關系的復雜，企業對任務調度系統的需求越來越迫切。
此外，數據治理、數據資產管理、數據服務共享等需求同樣迫切。
集合六大產品特性，青云大數據工作臺發布
談到數據集成、數據加工、數據服務，我們很容易想到數據中臺。目前市面上的數據中臺主要以大項目定制的方式進行私有化交付，往往需要企業自己搭建、部署、實施、運維和升級，或者采用技術服務費用的方式購買整套大數據環境，成本高、周期長。當企業業務峰值超過預期時，還需要增加采購。這一現狀引發了我們的思考，是否可以在云端以一站式、便捷、低成本的方式，構建“云上數據中臺”，充分發揮云資源按需付費、彈性擴容的優勢，來解決數據層面的問題呢？
基于此，青云正式推出大數據工作臺，即采用云原生架構的一站式智能大數據開發與治理平臺，聚焦于數據使用場景，解決數據集成、流批一體計算、統一作業運維調度、數據服務共享等問題，實現數據在云平臺各產品之間的快速流轉，支撐上層業務應用，消除“數據孤島”，統一調度和計算，幫助企業專注于數據價值的挖掘和探索，提升數據洞察能力。
接下來，通過一段產品視頻，來感受打通大數據全鏈路的一站式數據開發體驗，包括：兼容多種數據源、可視化數據集成、可視化數據開發和全托管 Flink 集群。
青云大數據工作臺產品特性，主要有六點：
第一，云原生容器化架構。大數據工作臺采用“公私一體”的架構，依托云原生 Kubernetes 屏蔽底層基礎設施的能力，支持青云公有云、青云私有云、以及獨立部署的方式。
第二，全托管流批一體引擎。云端全托管 Flink 集群，可以對海量數據進行亞秒級處理，支持流批一體的作業處理方式，能夠覆蓋多種業務場景。
第三，與數據存儲無縫對接。內置 Connector 無縫對接消息隊列、數據庫、數據倉庫、對象存儲等云端數據存儲類產品，按需拓展 Connector 對接各類外部數據系統。
第四，一站式開發與運維。大數據工作臺作為一站式開發運維平臺，提供了可視化數據開發 IDE，支持多語言開發模式，同時支持依賴包管理、UDF 管理輔助開發工作，一鍵提交，全托管調度，大幅節約開發成本和周期。
第五，多樣化的調度策略。提供最小顆粒度為分鐘級別的調度配置，調度周期支持單次執行、立即執行和周期執行等。
第六，細粒度的資源管控。最小資源使用粒度僅 0.5 CU，精細化資源管控，支持按量和包年/包月計費，價格低廉，安全穩定。
應對豐富的業務場景，驅動企業數“智”化轉型
在場景上，青云大數據工作臺支持四種標準化場景，分別是精細化運營分析場景、實時計算場景、可視化開發運維場景、構建數倉場景。目前這些場景已經在青云的客戶中投入使用。
首先是精細化運營分析場景，主要面向中小型互聯網或移動互聯網客戶。客戶業務端積累大量的用戶行為數據，需要做用戶行為分析，從而為其用戶提供更有針對性的服務。同時，客戶大數據發展較為領先，會有數據安全和數據質量相關的需求。大數據工作臺可以在用戶畫像、推薦、數據分析、大屏展示、數據治理等方面提供支持。
精細化運營分析場景架構圖
其次是實時計算場景，主要面向對實時數據有加工處理需求的客戶，如智慧工廠。客戶通過消息隊列統一數據標準，由大數據工作臺來執行計算任務處理，對增量熱數據和全量數據進行分類處理、分類展示和應用。大數據工作臺可以在 IoT 終端實現實時數據分析、實時用戶日志分析、實時運營數據分析、實時風控等方面提供支持。
實時計算場景數據場景架構圖
第三是可視化開發運維場景，主要面向以學習或者科研為目標的客戶。客戶使用科研數據，利用大數據計算引擎對數據的成員和權限管理進行分工協作，進行多維分析和計算，通過計算引擎和實時數據處理，挖掘數據模型，輸出科研分析報告等。大數據工作臺可以在數據 ETL、數據挖掘等方面提供支持。
可視化開發運維場景架構圖
最后是構建數倉場景，主要面向在青云云平臺上使用了消息隊列、數據庫、數據倉庫、大數據計算存儲的客戶。客戶將數據按照不同的業務線或數據類型存放在不同的數據存儲介質中，需要做不同介質間的同步傳輸，或者需要匯聚到統一的數據倉庫或大數據存儲中，進行下一步的數據計算和分析。大數據工作臺可以在數據集成、實時或離線計算、數據存儲等方面提供支持。
構建數倉場景架構圖
進入數字時代，數據已然成為驅動企業發展的“新動能”。青云大數據工作臺的發布，將致力于幫助企業激活數據資產，釋放數據價值，加速數“智”化進程！
青云大數據工作臺目前處于公測階段，進入產品控制臺即可免費試用。我們為每位用戶提供 12 CU 的免費計算資源。
*CU 是大數據工作臺的計算資源單位，1 CU 是 1 核CPU 4 GB 內存， 12 CU 是 12 核CPU 48 GB 內存。
