當前數字經濟正在引領新經濟發展，數字經濟覆蓋面廣且滲透力強，與各行業融合發展，如大數據、云計算、互聯網、人工智能等。因此，數據成為關鍵生產要素。同時，大數據在社會治理中，如城市交通、老年服務、城市安全等方面也發揮了重要作用。
與大數據時代同頻共振，青云一直在行動
從2014年推出第一款數據產品至今，青云科技已經推出了近30款數據產品和服務，同時集成優秀的合作伙伴應用，形成了包括數據庫與緩存、消息隊列與中間件、大數據服務、數據倉庫與BI產品、對象存儲在內的數據產品生態。
青云QingCloud大數據產品經理劉雄風告訴記者：“基于近30款產品和服務，結合優秀的合作伙伴應用，我們構建了一個完整的、可插拔的、全流程的大數據平臺。從最初的數據源接入，到數據的處理，再到數據的呈現，在任何環節我們都能提供客戶所需的數據產品和服務。”
劉雄風強調，多年來，在與客戶的密切溝通與服務當中，青云大數據洞察到，現在客戶的需求已經升級——從最初的“底層資源”問題，逐步進階到“數據層”問題。主要體現在：
一，數據同步。目前青云可以提供數據庫、數據倉庫、消息隊列與中間件服務，還需要數據同步服務，打通彼此之間孤立的關系。比如通過Elasticsearch進行數據檢索，首先要將MySQL中的數據導入到Elasticsearch，實現數據源和Elasticsearch的實時同步。
二，實時計算。在IoT場景中，數據通過IoT采集網關，把數據統一采集到平臺上后，需要大數據平臺對大量的設備數據、監控數據進行分析、挖掘，最終轉化為設備報告和流程優化相關的信息和知識。這種反饋實時性越高，企業降本增效的效果就越好。因此，通過IoT平臺采集設備數據、業務產生的結構化數據以及日志數據，上云后需要實時計算來發揮數據價值。
三，數據開發和作業運維調度。雖然在大數據引擎方面，青云推出了QingMR開源大數據組件，解決了客戶的運維和部署問題，但還無法滿足數據開發和作業運維調度層面的需求。
除了上面提到的數據集成、實時計算、統一監控和調度以外，客戶還存在權限控制、數據倉庫、數據服務等典型場景的需求。
基于客戶多種真實需求的反饋和實時數據處理的新挑戰，青云推出大數據工作臺，即一站式智能大數據開發與治理平臺，可幫助企業實現云平臺各產品之間數據的快速流轉，支撐上層業務應用，消除企業“數據孤島”，統一調度和計算，挖掘數據價值，提升數據洞察。
劉雄風說，不同于市面上的數據中臺產品，青云大數據工作臺采用云原生架構，基于容器平臺，解決了數據集成、流批一體計算、統一運維和統一數據服務共享的問題，通過一站式、便捷低成本的方式，幫助中小型企業快速發揮數據價值，構建“云上數據中臺”。
五層架構打通大數據全鏈路
大數據的價值并不是數據本身，而是數據背后所隱藏的、對業務有影響的信息和知識。目前青云大數據工作臺上線1.0版本，主要具備“數據集成、數據加工、統一數據存儲和服務”功能模塊，為企業數據價值挖掘提供支持。
從整個架構來看，青云大數據工作臺從最底層到最上層有五層架構，應對大數據全鏈路場景的需求。
第一層，云原生。青云大數據工作臺基于云原生架構，支持容器化部署，可以部署在開源的Kubernetes容器平臺上面，對客戶來講，使用起來更加開放和包容，也不會被云廠商綁定，跨云、跨容器、跨廠商都是可以運行的。
第二層，全托管式計算引擎。青云大數據工作臺提供全托管式計算引擎服務，以Flink流批一體的計算引擎為基礎，同時兼容多種計算引擎為一體的計算資源服務。
第三層，全生命周期數據開發。解決完計算資源后，青云大數據工作臺還提供全生命周期的數據開發服務，通過向導式的數據集成，支持可視化數據加工、調度管理、資源管理、網絡管理等多種場景。
第四層，高效的數據同步服務。青云大數據工作臺提供高效的數據同步服務，能夠兼容結構化、非結構化、半結構化的數據，可對數據進行實時、增量和全量的同步。
第五層，應對豐富的業務場景。在完成數據同步后，青云大數據工作臺便可幫助客戶應對豐富的業務場景，包括BI商業智能分析、用戶畫像、增長分析和數據大屏等應用，為業務決策提供有效的數據支撐。
六大產品特性實現全功能、全場景覆蓋
青云大數據工作臺的產品特性可以概括為六點：
第一，開箱即用。幾分鐘即可完成環境的創建和部署，即開即用、便捷高效，一鍵開啟數據價值洞察之旅。
第二，彈性擴容。具備云原生彈性擴容的能力，可以幫助客戶合理地節省資源，提高資源的使用率。通過提供細粒度管控，最小資源使用的粒度只需要0.5 CU，支持按量、包年包月計費，可以更好地適配不同的需求，價格低廉，安全穩定。
第三，存算分離。與青云的對象存儲服務無縫銜接，海量數據可以高效、低成本的存儲，并支持數據計算按需擴容，極具性價比。
第四，開放兼容。擁抱開源，百分百兼容Apache Flink，支持平滑上云，通過內嵌的Connector可以無縫對接主流的數據產品和開源大數據生態組件。同時，客戶可以將原有的大數據任務遷移到大數據工作臺上，進行統一的調度和監控，節省運維和調度成本。
第五，安全可靠。按照云原生的架構模式進行設計，可以基于多種基礎設施進行部署。內部功能模塊以微服務的方式劃分為多個組件，彼此之間相互隔離，避免相互影響。同時，所有的服務都具備高可用和高擴展能力，可以在部分節點故障的情況下保障服務的可用性和數據的可靠性。
第六，生態整合。除了青云大數據工作臺本身提供的服務外，還可以在云上與其他產品緊密整合，可以連通云平臺上孤立的多種數據存儲的服務，讓客戶在云平臺上的數據流轉更加便捷。“我們不僅提供青云自己的產品和服務，也可以集成合作伙伴已有的開源產品，共同給客戶提供一整套的產品或方案，這樣客戶也可以根據自己所需，進行選擇和搭配。在我們看來，整個生態是開源、開放的。”劉雄風說。
青云大數據工作臺可以在精細化運營分析、實時計算、可視化開發運維、構建數倉等場景進行廣泛應用。劉雄風特別指出：“我們主要聚焦新興領域，以物聯網和工業大數據為代表。”
青云所提供的方案不僅僅是大數據工作臺一個產品，而是與青云的KubeSphere容器平臺和IoT平臺形成合力，充分發揮各自優勢，組建了完善的“大數據工作臺＋KubeSphere＋IoT”三位一體解決方案。
以某行業領先工業自動化測試設備與整線系統解決方案廠商為例，其數據源涵蓋多種維度，包括機加工設備、物聯網的SMT設備和AGV設備，甚至有立庫以及將來可能會引入的質監相關設備。除了生產數據以外，企業本身運營也會產生相關的IoT數據，包括水電氣、空調供暖、給排水、門閘、溫濕度以及各類樓宇/園區運營的信息。
因為數據源不同，所以客戶需要統一的數據接收和存儲、API服務對接物聯網平臺，建設統一的“物聯網＋大數據”平臺。
在青云提供的方案支持下，客戶可由IoT平臺進行“云、網、邊、端”數據源的統一控制，再將數據通過消息中間件進行統一傳輸，傳輸到大數據工作臺上再做原始庫數據集成的操作。數據存儲到原始庫后，客戶可以通過原始庫單獨對外提供數據權限、數據存儲和數據查詢的服務。對于原始庫存儲的數據，客戶還能二次加工、處理，形成最終結果庫。而結果庫，同樣可以對外提供數據權限、數據存儲和數據查詢的服務。
“通過深耕工業、交通等細分領域，我們形成了一整套相對標準的體系和方案。接下來，我們將推廣到其他的行業客戶中，除了應用到智慧工業上，我們還能應用到智慧零售、智慧政務和智慧校園，覆蓋到四個‘數智’化場景，持續產生‘數智’化價值。”劉雄風最后說。
