2023 年 4 月 11 日， 偶數(shù)發(fā)布了最新的實時湖倉數(shù)據(jù)平臺 Skylab 5.0，平臺各個組件進行了全面升級。新版 Skylab 的發(fā)布標志著偶數(shù)科技具有從數(shù)據(jù)存儲、計算、管理到分析、應(yīng)用和 AI 能力的完整的數(shù)據(jù)管理生態(tài)閉環(huán)，幫助用戶實現(xiàn)批流一體、實時數(shù)據(jù)處理、自動化機器學(xué)習(xí)、自助可視化分析和數(shù)據(jù)資產(chǎn)管理。依托 Skylab，用戶可以輕松實現(xiàn)智慧營銷、智能風控、智慧審計、智慧監(jiān)管等數(shù)據(jù)應(yīng)用場景。
Skylab 核心組件包括云原生分布式數(shù)據(jù)庫 OushuDB、自動化機器學(xué)習(xí)平臺 LittleBoy、數(shù)據(jù)分析與應(yīng)用平臺 Kepler、數(shù)據(jù)資產(chǎn)管理平臺 Orbit、數(shù)據(jù)開發(fā)與調(diào)度平臺 Flow、數(shù)據(jù)工廠 Wasp 和系統(tǒng)管理軟件 Lava。
OushuDB
OushuDB 是由偶數(shù)科技自主研發(fā)的云原生分布式數(shù)據(jù)庫，具有高性能、高并發(fā)、高可用的技術(shù)優(yōu)勢。OushuDB 兼容國產(chǎn)軟硬件平臺，符合國家信創(chuàng)標準。新一代執(zhí)行器顯著提升批處理和按需即席查詢效率，面向 PB 級大數(shù)據(jù)的復(fù)雜查詢，OushuDB 相比傳統(tǒng) MPP 和 SQL-on-Hadoop 快一個數(shù)量級。采用計算存儲分離架構(gòu)深度優(yōu)化數(shù)據(jù)庫的擴展能力，支持騰訊云、阿里云、華為云、金山云、微軟 Azure、AWS 等主流云平臺，充分滿足云端應(yīng)用高度彈性、無限擴容的要求。OushuDB 的 5.1 版本通過對接 Hive 元數(shù)據(jù)，可以原生使用 Hive 存儲在 HDFS 的數(shù)據(jù)。同時，偶數(shù)分布式表存儲 Magma 的穩(wěn)定性和性能也進一步增強。另外，新版本增加了對 Copy to/from HDFS 協(xié)議 URL 的完整支持，以及對 Text/Csv 格式、GZ 壓縮類型的支持。
LittleBoy
LittleBoy 自動化機器學(xué)習(xí)平臺提供完整的 MLOps 鏈路，集成數(shù)據(jù)清洗、特征工程、深度學(xué)習(xí)、AutoML、模型管理和 AI 服務(wù)。其可視化交互可通過拖拽、對話引導(dǎo)等方式幫助用戶清晰直觀建模。LittleBoy 同時支持有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，近百種內(nèi)置算法滿足不同場景建模需求。結(jié)合 OushuDB 高性能讀寫速度，LittleBoy 相比同類產(chǎn)品大幅提升模型收斂效率，幫助分析師和數(shù)據(jù)科學(xué)家將機器學(xué)習(xí)快速轉(zhuǎn)化為業(yè)務(wù)價值。
Kepler
Kepler 是一款功能強大且簡單易用的數(shù)據(jù)分析與應(yīng)用平臺，滿足不同行業(yè)的數(shù)據(jù)開發(fā)、分析、應(yīng)用等復(fù)合需求。通過橫向打通指標、標簽、報表、模型四種數(shù)據(jù)資產(chǎn)，實現(xiàn)不同類型數(shù)據(jù)的資產(chǎn)共享。作為 Skylab 的數(shù)據(jù)訪問和應(yīng)用的通道，Kepler 將海量數(shù)據(jù)分析與應(yīng)用的性能發(fā)揮到極致。
Orbit
Orbit 數(shù)據(jù)資產(chǎn)管理平臺為用戶提供可視化的數(shù)據(jù)資產(chǎn)圖譜、自動化的數(shù)據(jù)資產(chǎn)分類、多維度的數(shù)據(jù)血緣分析，以及可持續(xù)的數(shù)據(jù)標準貫徹實施。通過對存量和新增的數(shù)據(jù)資產(chǎn)進行全方位的規(guī)劃管理，為企業(yè)搭建領(lǐng)先的數(shù)據(jù)運營體系，減少數(shù)據(jù)污染和治理成本，提高數(shù)據(jù)可見性和使用效率，助力數(shù)字經(jīng)濟下的數(shù)據(jù)確權(quán)和定價，加快數(shù)據(jù)要素流通。
Flow
Flow 是一款擁有強大 Web 界面交互能力的數(shù)據(jù)開發(fā)與調(diào)度平臺，為 Skylab 平臺提供任務(wù)調(diào)度能力。Flow 不僅支持豐富的任務(wù)類型，還擁有百萬級任務(wù)節(jié)點的前端交互能力，靈活實現(xiàn)大規(guī)模集群任務(wù)的調(diào)度服務(wù)。支持作業(yè)重跑、單點跑以及下游跑等多種運行模式，既可以查看實時運行日志也可以追溯歷史任務(wù)。通過任務(wù)、任務(wù)組、作業(yè)、作業(yè)空間等資源組織，可實現(xiàn)多級別并發(fā)和優(yōu)先級配置。
Wasp
Wasp 數(shù)據(jù)工廠可以輕松對接多種數(shù)據(jù)源，靈活可擴展。支持存量和增量同步、離線和實時持續(xù)同步、自動和定時同步、數(shù)據(jù)容錯和斷點續(xù)傳。用戶可以通過零代碼可視化操作進行一套任務(wù)的批流數(shù)據(jù)加工，Wasp 在保證數(shù)據(jù)一致性的同時，為用戶提供高性能、高吞吐的數(shù)據(jù)加工和同步。
Lava
Lava 負責 Skylab 平臺集群管理、監(jiān)控運維、用戶管理、認證、審計、權(quán)限、消息等基礎(chǔ)服務(wù)。通過靈活可擴展的技術(shù)架構(gòu)、云中立的技術(shù)路線，為用戶提供簡單易用、安全可靠、性能穩(wěn)定的系統(tǒng)管理服務(wù)。降低運維成本，提高管理效率。
除了完整的生態(tài)組件，偶數(shù) Skylab 平臺還率先實現(xiàn)了湖倉一體 ANCHOR 標準六大特性，通過虛擬計算集群技術(shù)，真正在數(shù)據(jù)和查詢層面形成一體化架構(gòu)。在超大規(guī)模集群上支持高并發(fā)，保障事務(wù)支持，提供實時能力，實現(xiàn)一個技術(shù)平臺、一份業(yè)務(wù)數(shù)據(jù)、一份元數(shù)據(jù)。通過偶數(shù)首創(chuàng)的 Omega 架構(gòu)保障了 ANCHOR 的實時優(yōu)勢特性，形成了具備全實時能力的實時湖倉數(shù)據(jù)平臺。
● All Disparate Data 多源異構(gòu)數(shù)據(jù)
● Native on Cloud 云原生
● Consistency 數(shù)據(jù)一致性
● High Concurrency 超高并發(fā)
● One Copy of Data 一份數(shù)據(jù)
● Real-time 實時 T+0
隨著全行業(yè)數(shù)字化轉(zhuǎn)型進入深水區(qū)，企業(yè)也必然要面臨諸多技術(shù)挑戰(zhàn)，針對企業(yè) IT 系統(tǒng)尤其是數(shù)據(jù)平臺技術(shù)棧越來越復(fù)雜，運維操作越來越繁瑣，數(shù)據(jù)應(yīng)用鏈路越來越冗長等問題，偶數(shù)通過 Skylab 一個平臺將這些復(fù)雜、繁瑣和冗長的 IT 難題化繁為簡，通過實時湖倉一體架構(gòu)實現(xiàn)完整的數(shù)據(jù)管理生態(tài)閉環(huán)。用更先進的技術(shù)和更少的成本，為企業(yè)帶來全實時的洞察力、更智能的決策、更快的應(yīng)用集成，助力企業(yè)數(shù)字化轉(zhuǎn)型。
