2023年的金秋十月，不僅有著舉國歡慶雙節(jié)的熱鬧，同時也是偶數(shù)及其行業(yè)客戶收獲產(chǎn)品迭代成果的時節(jié)。10月13日， 偶數(shù)科技發(fā)布了最新的實(shí)時湖倉數(shù)據(jù)平臺Skylab 5.4版本。其中，云原生分布式數(shù)據(jù)庫OushuDB、數(shù)據(jù)分析與應(yīng)用平臺Kepler、數(shù)據(jù)資產(chǎn)管理平臺Orbit、數(shù)據(jù)工廠Wasp、數(shù)據(jù)開發(fā)與調(diào)度平臺Flow、系統(tǒng)管理軟件Lava，在本次的新版本升級中都進(jìn)行了迭代更新。
接下來讓我們一起了解下Skylab 5.4各組件的更新情況。
云原生分布式數(shù)據(jù)庫OushuDB 5.3更新
OushuDB 5.3支持Native ORC格式在線增量備份恢復(fù)。相較于全量備份恢復(fù)，增量備份恢復(fù)減少了備份和恢復(fù)時間，提供更快的數(shù)據(jù)恢復(fù)速度。同時，相對于傳統(tǒng)的離線備份（需要停止數(shù)據(jù)庫服務(wù)），在線備份減少了停機(jī)時間。這對于需要高可用性和7*24運(yùn)行的業(yè)務(wù)至關(guān)重要。行業(yè)客戶對數(shù)據(jù)平臺的安全性愈發(fā)看中，在線增量備份恢復(fù)變得越來越必要，它在保障數(shù)據(jù)安全的同時，降低平臺維護(hù)成本，減少業(yè)務(wù)干擾，提高系統(tǒng)可用性。
支持歷史SQL監(jiān)控功能。歷史SQL監(jiān)控可以跟蹤和分析數(shù)據(jù)庫中執(zhí)行的SQL查詢和事務(wù)的性能。通過監(jiān)控歷史查詢的執(zhí)行計(jì)劃、響應(yīng)時間和資源消耗等指標(biāo)，DBA可以識別潛在的性能瓶頸，從而采取適當(dāng)?shù)膬?yōu)化措施，提高數(shù)據(jù)庫性能。
新版本的默認(rèn)權(quán)限功能可以為指定的用戶和schema設(shè)置新建對象（表、視圖、函數(shù)、序列）的默認(rèn)權(quán)限。因此，指定用戶或者在指定schema創(chuàng)建對象時，會自動添加權(quán)限信息，而無需再手動授權(quán)。尤其是進(jìn)行大范圍、多對象的權(quán)限管理時，默認(rèn)權(quán)限這一功能有效降低用戶權(quán)限管理的時間成本和操作代價。
OushuDB 5.3實(shí)現(xiàn)分區(qū)列DISTINCT性能優(yōu)化，這意味著在執(zhí)行DISTINCT查詢時，不再需要掃描子表全部的數(shù)據(jù)，大幅減少數(shù)據(jù)掃描的數(shù)量，提高查詢性能，實(shí)現(xiàn)毫秒級返回復(fù)雜查詢結(jié)果。
Hive External Catalog新增對Description的支持。同時，在過往版本對Hive表只讀的基礎(chǔ)上，支持同時訪問Hive中多個不同Database，實(shí)現(xiàn)多表關(guān)聯(lián)計(jì)算，為用戶提供更便捷的查詢方式。
OushuDB的客戶端工作簿W(wǎng)orksheet在本次升級中對性能、功能和交互體驗(yàn)都做了進(jìn)一步優(yōu)化。例如，查詢結(jié)果列可拖拽、導(dǎo)出查詢結(jié)果帶表頭、熱鍵/別名、資源隊(duì)列的切換等。
數(shù)據(jù)分析與應(yīng)用平臺Kepler 4.1更新
從4.0版本到4.1版本，Kepler報表開發(fā)、指標(biāo)開發(fā)、可視化、平臺服務(wù)等核心模塊都進(jìn)行了更新。
報表開發(fā)模塊新增整體樣式、撤銷/重做、隱藏行/列、凍結(jié)滾動、參數(shù)跳轉(zhuǎn)功能，提高了報表設(shè)計(jì)的靈活性和效率，讓用戶可以創(chuàng)建更吸引人的報表。
數(shù)據(jù)可視化模塊新增多種圖表類型和地圖配置屬性。通過增加了數(shù)據(jù)呈現(xiàn)的多樣性，幫助用戶更清晰地分析數(shù)據(jù)。
平臺服務(wù)模塊新增實(shí)時指標(biāo)服務(wù)和數(shù)據(jù)服務(wù)詳情頁升級，提供了實(shí)時數(shù)據(jù)分析的能力，幫助用戶更及時地做出業(yè)務(wù)決策。
指標(biāo)開發(fā)模塊新增SQL指標(biāo)占位符、字段列表編輯、關(guān)聯(lián)關(guān)系、空值過濾、自定義度量等功能，簡化指標(biāo)開發(fā)過程，加快數(shù)據(jù)分析流程，提高數(shù)據(jù)質(zhì)量。
此外，Kepler增加了權(quán)限控制和血緣圖節(jié)點(diǎn)數(shù)據(jù)下載功能，提供了更好的安全性和數(shù)據(jù)追溯功能。支持復(fù)雜限定條件操作符in/not in，提升了數(shù)據(jù)查詢的靈活性，更容易篩選目標(biāo)數(shù)據(jù)。
Wasp 5.4從容錯、易用性角度做了更新和優(yōu)化。
Kafka、文件類數(shù)據(jù)源支持忽略大小寫，可以確保字段匹配和比對時不受大小寫的影響，從而提高數(shù)據(jù)一致性避免了大小寫差異導(dǎo)致的匹配錯誤；支持跳過臟數(shù)據(jù)，排除格式錯誤、無效或不完整的數(shù)據(jù)防止臟數(shù)據(jù)對后續(xù)處理和分析造成干擾，保持?jǐn)?shù)據(jù)質(zhì)量。
支持?jǐn)?shù)據(jù)同步對象的重新映射，在數(shù)據(jù)源或者目標(biāo)表結(jié)構(gòu)有變化的情況下，允許將重新修改源與目標(biāo)表的字段映射，降低運(yùn)維復(fù)雜度。
此外，Wasp 5.4還支持任務(wù)、文件夾的移動；優(yōu)化了指標(biāo)監(jiān)控；支持顯示源表的主鍵信息?？傮w而言，新版 Wasp 的健壯性進(jìn)一步提高，其新功能和易用性將幫助用戶有效降低運(yùn)維成本。
數(shù)據(jù)資產(chǎn)管理平臺Orbit 2.3更新
首先，新版本Orbit著力提升了自動化元數(shù)據(jù)采集和血緣采集的穩(wěn)定性和容錯能力。用戶在進(jìn)行元數(shù)據(jù)和血緣分析時，將更少遇到中斷和故障，更容易跟蹤數(shù)據(jù)的流向和關(guān)系，有助于數(shù)據(jù)決策的準(zhǔn)確性。
其次，Orbit在前一版主數(shù)據(jù)管理模塊的基礎(chǔ)上，優(yōu)化了主數(shù)據(jù)模塊里數(shù)據(jù)服務(wù)接口的配置頁面，以提高用戶操作體驗(yàn)。更流暢和直觀的界面，為用戶提供了更便捷的操作方式。比如在配置多表關(guān)聯(lián)查詢時，用戶能夠更輕松地創(chuàng)建和管理多表關(guān)聯(lián)，提高了數(shù)據(jù)檢索和分析的效率。
此外，新版Orbit進(jìn)行了安全性升級，保障數(shù)據(jù)的機(jī)密性和完整性，以及防范潛在的數(shù)據(jù)風(fēng)險和威脅。
數(shù)據(jù)開發(fā)與調(diào)度平臺Flow 5.4更新
Flow 5.4進(jìn)一步豐富了控制面板的功能，新增定時日歷、任務(wù)占比、作業(yè)歷史統(tǒng)計(jì)圖等功能，幫助用戶更方便地了解Flow的使用情況。此外還新增了作業(yè)的移動和復(fù)制、任務(wù)歷史等功能。
系統(tǒng)管理軟件Lava 5.4更新
新版Lava增強(qiáng)了HA（High Availability）功能，確保系統(tǒng)在面臨硬件故障、軟件故障或其他不可預(yù)測事件時仍能保持運(yùn)行。
Lava的監(jiān)控運(yùn)維部分，增加了對OushuDB備份恢復(fù)、腳本遷移工具、SQL監(jiān)控、自定義指標(biāo)監(jiān)控等功能。添加產(chǎn)品專員微信了解和體驗(yàn)產(chǎn)品：oushukeji
偶數(shù)Skylab是一個擁有海量數(shù)據(jù)存儲、計(jì)算、分析、應(yīng)用和 AI 能力的實(shí)時湖倉數(shù)據(jù)平臺，提供完整的數(shù)據(jù)管理生態(tài)閉環(huán)，幫助用戶實(shí)現(xiàn)批流一體、實(shí)時數(shù)據(jù)處理、自動化機(jī)器學(xué)習(xí)、自助可視化分析和數(shù)據(jù)資產(chǎn)管理。依托Skylab，用戶可以輕松實(shí)現(xiàn)智慧營銷、智能風(fēng)控、智慧審計(jì)、智慧監(jiān)管等數(shù)據(jù)應(yīng)用場景。
