近日，青云QingCloud正式發布大數據工作臺，可為客戶提供“數據上云、數據開發、數據同步、作業運維調度、引擎資源管理”等功能模塊，實現數據在云平臺各產品之間快速流轉，消除“數據孤島”，統一調度和計算，助力企業一鍵開啟云端數據洞察之旅。
青云QingCloud 大數據產品經理劉雄風與多家 IT 科技媒體分享了大數據工作臺在云原生、混合云、工業互聯網等熱門領域的技術實踐和業務應用。我們精選了十個精彩問答，一起深入了解青云大數據工作臺????
Q：與目前市面上已有的大數據開發和治理平臺相比，青云的產品具有哪些優勢和不同？
A：市面上成熟的大數據開發和治理平臺，大多都是在比功能。而現實場景里，客戶不一定需要所有功能，而是更看重性能。就像我們買手機一樣，運行流暢與否更加重要，而不是那些不常用的功能。
關于青云的產品優勢，首先，我們是基于云原生架構進行開發的，具備天然的跨云服務和彈性計算的優點。其次，我們聚焦解決客戶實時計算等數據業務場景需求。此外，我們的界面及功能上的歷史包袱基本上是沒有的，客戶可以更聚焦地做數據開發。
Q：大數據工作臺是否可以看作是一個數據中臺？如果不是，它與數據中臺的差別在哪？
A：數據中臺是在 DT 時代大背景下，企業為實現數據快速、準確、低成本賦能業務發展目標，將數據統一整合起來，基于 Onedata 方法論而搭建的平臺。借助于數據中臺，企業可以進行完善的、統一的數據加工和處理，對外提供數據服務能力。目前市面上的數據中臺，主要以大項目的定制化方式進行私有化交付，其成本是比較大的，周期也是比較長的。
與數據中臺的差別在于，青云大數據工作臺采用云原生架構，沒有基于傳統的 Hadoop 體系的YARN 來做資源調度，而是基于 Kubernetes 實現資源的調度。同時，青云大數據工作臺聚焦于數據使用場景下，解決數據集成、流批一體計算、統一運維和統一數據服務共享等問題，并通過云端一站式、便捷低成本的方式，幫助中小型企業快速發揮數據價值，構建“云上數據中臺”。
Q：混合云成為越來越多企業數字化轉型的選擇，大數據工作臺如何確保跨云之間數據甚至是算力調度的流暢及安全？
A：數據跨云傳輸和計算其中有兩個關鍵點：一致性流暢的體驗，以及組網。青云作為“混合云第一股”，一直是以“公私一致”的技術架構為混合云用戶交付公有云與私有云，大數據工作臺也是公私統一架構，能夠為客戶提供一致的使用體驗，降低運維管理的復雜度。網絡層面，青云提供豐富的組網模式，用戶通過控制臺即可完成不同網絡接入方案的配置。
目前我們正在規劃滿足客戶跨云算力分配的場景功能，即在私有云突發算力任務加劇的情況下，將一部分數據作業調度到公有云，利用公有云作為算力補充。
Q：彈性和靈活的部署是現在很多企業看重的一個特點，大數據工作臺在這方面有何優勢？
A：大數據工作臺是一款即開即用、便捷高效的企業級數據開發云服務，幾分鐘就可以搭建整體的環境和部署，一鍵開啟您的數據價值洞察之旅。除了支持基于云平臺/AppCenter的部署，我們也支持私有化交付，支持基于容器（K8s、KubeSphere）的部署，對于希望基于容器部署大數據組件的用戶來說是非常友好的。
Q：對于企業而言，如何根據自身發展階段和業務規模，把大數據工作臺的價值發揮到最大？
A：如果一個企業需要一個人專門負責企業日常的數據計算和輸出，甚至數據的開發，那么他一定會需要大數據工作臺。當企業數據量達到GB級別，也可以使用大數據工作臺。在復雜場景下，大數據工作臺每個CU每秒可以處理3000條至15000條數據。在這種數據量的處理下，我們一個CU的計費不到4毛錢/小時，既經濟又高效。因此，無論從計算成本來看，還是從人力成本來看，只要有數據計算需求的企業，都可以把數據的集成、開發和數據的使用交給大數據工作臺，開發人員只需要專注業務即可。
（*CU：大數據工作臺的計算資源單位。1 CU 是 1 核CPU 4 GB 內存）
Q：大數據工作臺的使用者具體是大數據技術人員還是業務人員？
A：我們的使用者除了技術人員，還有業務人員。技術人員包括數據開發人員、數據運維工程師、數據架構工程師等多種角色。對于技術人員，我們提供Flink SQL的方式，技術人員只要會寫SQL，就可以進行數據的處理。業務人員可以通過拖拽的方式構建數據的連線，只需要定義數據的來源和目的，通過字段的映射連線，即可使用。
Q：目前青云大數據工作臺最大的亮點是什么？
A：大數據開發工程師是一個龐大的群體，以往大數據引擎 QingMR 給數據開發工程師提供的是一個免運維的大數據存儲計算平臺，雖然節約了運維成本，但用戶要做數據開發，還是需要在本地 IDE 開發好后，通過命令行的方式提交到 QingMR 中，非常不方便。
大數據工作臺提供「云端可視化開發 Studio」，可以讓數據開發工程師在云端可視化開發，一鍵提交，全托管調度，大幅度節約開發成本和周期。
Q：大數據工作臺的運維中心支持哪些運維工作？
A：我們的運維中心主要包括：一、對資源的調度，可以對集群整體資源進行管理，就是對全托管 Flink 集群進行操作。二、對數據加工作業進行運維管理，可以管理數據加工作業的調度狀態、運行狀態、作業版本。三、提供原生的 Flink UI，能進行任務運維的查看。
Q：大數據工作臺在企業中的應用如何？得到了什么樣的使用反饋？
A：目前，青云大數據工作臺已經應用在工業互聯網客戶場景中，為企業構建工業互聯網數據中臺。通過研發工程師的工單機制，快速響應客戶的需求和問題，獲得了客戶的好評。同時，我們也在快速迭代產品功能，和客戶共同快速成長。
Q：大數據工作臺還有哪些需要優化的地方？接下來如何進行優化升級？
A：接下來，大數據工作臺會利用公有云快速反饋迭代的優勢，優化客戶體驗，增強平臺穩定性和高可用性，并逐步迭代擴充客戶所需的功能，包括數據資產、數據治理等。通過與客戶商業化合作和共建來沉淀場景化方案，在工業、交通等細分領域深耕，沉淀產品能力，并推廣到其他行業客戶中。
青云大數據工作臺目前處于公測階段，可免費試用，并每位用戶提供 12 CU 的免費計算資源，一鍵開啟大數據洞察之旅。
