今年上半年，Gartner發(fā)布2021年度數(shù)據(jù)管理領域的成熟度模型報告—Hype Cycle，湖倉一體（Lakehouse）作為近兩年的新興技術熱點，成為了首次進入成熟度模型的五個新軍之一，備受業(yè)界關注。本篇文章，我們將介紹什么是湖倉一體，湖倉一體架構的特點和技術優(yōu)勢。
湖倉一體，其含義是指將數(shù)據(jù)湖的語義靈活性與數(shù)據(jù)倉庫的生產(chǎn)優(yōu)化和交付相結合。它是一個融合的基礎設施環(huán)境，支持從原始數(shù)據(jù)到精煉數(shù)據(jù)的整個過程，并最終提供優(yōu)化后的數(shù)據(jù)以供消費。
湖倉一體將使業(yè)務從簡化的交付流程、數(shù)據(jù)的快速訪問中受益，同時滿足了用戶對于性能和易用性的更高要求，降低了大數(shù)據(jù)分析的技術復雜度和成本，同時滿足了用戶對性能和易用性的更高要求。通過構建整合的數(shù)據(jù)管理平臺，服務于各種各樣的職能角色，包括專業(yè)的數(shù)據(jù)科學家、數(shù)據(jù)工程師和業(yè)務分析師等，甚至包括通過數(shù)據(jù)看板來使用數(shù)據(jù)的臨時用戶。湖倉一體本質(zhì)上為數(shù)據(jù)科學的創(chuàng)新提供了定義明確、可落地的發(fā)展途徑。
湖倉一體作為企業(yè)未來數(shù)據(jù)平臺的重要基礎架構，需要一種強有力的分布式數(shù)據(jù)庫支撐其海量、多模、多態(tài)的數(shù)據(jù)。巨杉數(shù)據(jù)庫SequoiaDB基于100%自研的分布式數(shù)據(jù)庫內(nèi)核，提供了湖倉一體萬億級數(shù)據(jù)服務平臺，適用于歷史數(shù)據(jù)平臺、全量數(shù)據(jù)平臺、實時數(shù)據(jù)中臺等需要將海量多模數(shù)據(jù)用于對客服務的場景。
巨杉數(shù)據(jù)庫基于湖倉一體的架構特性，構建數(shù)據(jù)基礎設施平臺，整合結構化、半結構化、非結構化數(shù)據(jù)的統(tǒng)一存儲與管理，為面向全量數(shù)據(jù)業(yè)務提供：SQL、NoSQL、Object等多種接口。此外，通過特有的跨引擎事務能力，可以有效簡化多團隊開發(fā)流程中對不同引擎、不同結構的數(shù)據(jù)管理，打通ACID事務支持，提升業(yè)務開發(fā)、數(shù)據(jù)處理、運維管理能力，釋放全量數(shù)據(jù)價值，提升企業(yè)數(shù)據(jù)處理的“人效”及“能效”。
基于SequoiaDB分布式數(shù)據(jù)庫的湖倉一體平臺，除了具備多模能力，兼容多種數(shù)據(jù)引擎以外，還提供包括流式計算、高性能列存分析引擎等能力，適用于需構建融合數(shù)據(jù)平臺及在保持事務一致性的基礎上，進行高性能實時分析的場景。通過SequoiaDB可打破數(shù)據(jù)湖與數(shù)據(jù)倉庫割裂的體系，為上層應用提供一數(shù)一源的數(shù)據(jù)基礎設施，助力客戶實現(xiàn)提升數(shù)據(jù)管理水平、降低成本、提升運營效率、提升用戶體驗等目標。
目前，巨杉數(shù)據(jù)庫已經(jīng)在超過100家金融銀行客戶規(guī)?；暇€使用，覆蓋國有銀行、股份制銀行、省級農(nóng)信、城商行、保險、證券等金融客戶，已經(jīng)正式生產(chǎn)上線的系統(tǒng)中最大運行集群，數(shù)據(jù)量達1.2萬億行，容量達3PB，規(guī)模超過400臺服務器，積累了豐富的最佳實踐及案例，幫助客戶構建起數(shù)據(jù)平臺最佳底座。
數(shù)據(jù)湖和數(shù)據(jù)倉庫，原本是大數(shù)據(jù)技術條件下構建分布式系統(tǒng)的兩種數(shù)據(jù)架構設計取向。而融合后的湖倉一體，為業(yè)界和用戶展現(xiàn)了一種湖與倉互相補充、協(xié)同工作的架構。未來，巨杉數(shù)據(jù)庫將不斷優(yōu)化湖倉一體數(shù)據(jù)服務平臺，探索和嘗試更多湖倉一體解決方案，幫助企業(yè)釋放全量數(shù)據(jù)價值。
了解更多內(nèi)容可關注微信公眾號：巨杉數(shù)據(jù)庫
