近日, 偶數發布了最新的實時湖倉數據平臺 Skylab 5.3 版本。Skylab包含七大產品,分別為云原生分布式數據庫 OushuDB、數據分析與應用平臺 Kepler、數據資產管理平臺 Orbit、自動化機器學習平臺 LittleBoy、數據工廠 Wasp、數據開發與調度平臺 Flow、系統管理軟件Lava,在本次的新版本升級中以上全線產品都進行了更新。
在已經具備完整生態組件的基礎上,Skylab 本次升級進一步提升了生態擴展能力,在數據的開放存儲格式、應用分析的多數據源接入等方面都做了優化,比如新增對 Hudi 開放存儲格式的原生支持,以及接入更多數據庫類型作為數據分析和應用的數據源。
接下來讓我們一起了解下 Skylab 5.3 各組件的更新情況。
云原生分布式數據庫 OushuDB 5.2 更新
繼上一個版本可以原生使用 Hive 存儲在 HDFS 的數據,OushuDB 5.2 實現了原生支持 Hudi 存儲格式,提供了更多開放的數據格式,實現了“一數多擎”,即多個引擎共享同一份數據,也為客戶在落地湖倉一體提供了更多可選方案。
存算分離的數據庫架構必然需要在計算節點做數據緩存,OushuDB 5.2 的 Magma 表實現了計算節點數據緩存,極大提升查詢速度。
OushuDB 的客戶端 Worksheet 在本次升級中對性能、功能和交互體驗都做了優化。功能方面,Worksheet 支持同時展示多條 SQL 查詢結果,支持在創建對象時選擇表空間、表壓縮及壓縮比;支持數十萬表的查詢與展示,客戶端性能進一步提升;Worksheet 在導入導出數據及腳本、SQL 語法提示、歷史版本搜索、報錯方式等方面都進行了交互優化。
OushuDB 5.2 還完善了數據庫審計功能,此外還支持自動統計信息收集,用戶可以不再通過 Analyze 來發數據統計信息。
數據工廠 Wasp 5.3 更新
新版本的 Wasp 在產品易用性上進行了大幅提升,用戶可以僅配置一次任務就將整個庫的數十萬張表進行同步,極大的提升效率,同時,Wasp 還支持可視化數據清洗與流計算的配置,提升了產品易用性。
除了已經支持的Oracle、MySQL、DB2、PostgreSQL等數據源,還新增支持 Sybase、KingBase等數據源。CDC 支持無主鍵源表同步場景,規避了數據同步可能面臨的數據沖突和重復問題。
數據資產管理平臺 Orbit 2.2 更新
Orbit 新增主數據管理模塊。主數據管理模塊是一種關鍵的企業管理工具,通過主數據模型和主數據服務,集中管理和維護企業中的主數據,提高數據一致性、準確性和可用性,幫助組織整合不同的業務流程和系統,各個部門和系統可以基于相同的數據進行工作,從而提高業務流程的協同效率。
此外,相較上一個版本,Orbit在元數據采集、數據資產發布及撤銷、元數據刪除等方面做了進一步優化,大幅提升處理性能和操作體驗。
數據資產目錄和元數據目錄“主頁”展示可視化的統計信息
數據分析與應用平臺 Kepler 4.0 更新
新版本 Kepler 在多數據源接入、血緣詳情展示和報表開發幾個方面做了大幅優化。
支持 MySQL 和 OushuDB 等多種數據源,為用戶提供了更多的接入方式,并根據不同數據源對指標、標簽、報表、數據可視化、數據工廠等功能進行優化。血緣節點增加指標、事實、維度、數據庫表等詳情展示,讓用戶迅速了解血緣信息。
報表開發方面,新增單元格批量設置、字段生成表頭、表級節點拖入。
數據可視化模塊添加水球圖、數據文字云類型圖表。
自動化機器學習平臺 LittleBoy 5.0 更新
新版本 LittleBoy 在現有的豐富算子的基礎上,形成了特殊算子的定制能力,如對數據字段進行加密算子和解密算子,這也意味著 LittleBoy 對不同行業和場景的生態擴展能力逐步增強。
數據開發與調度平臺 Flow 5.3 更新
提供批次相關功能,支持追批、自定義批次標簽。用戶可以通過批次來管理任務的周期執行(如以天、周為周期),更好的應對業務分批執行需求的支持,為作業調度的開發提供便利。
系統管理軟件 Lava 5.3 更新
Lava 提供了升級框架,用戶可以通過升級腳本一鍵升級 Wasp、Flow、Worksheet。新版本增加了 OushuDB 監控頁面,展示集群拓撲結構、執行中的SQL、會話和鎖信息等。
偶數 Skylab 是一個擁有海量數據存儲、計算、分析、應用和 AI 能力的實時湖倉數據平臺,提供完整的數據管理生態閉環,幫助用戶實現批流一體、實時數據處理、自動化機器學習、自助可視化分析和數據資產管理。依托 Skylab,用戶可以輕松實現智慧營銷、智能風控、智慧審計、智慧監管等數據應用場景。