SequoiaDB從「多模數(shù)據(jù)湖」、「實(shí)時(shí)數(shù)據(jù)湖」發(fā)展到「湖倉一體」架構(gòu)，為客戶提供「數(shù)據(jù)核心」所需的全量數(shù)據(jù)存儲(chǔ)，實(shí)時(shí)對(duì)客服務(wù)，及基于統(tǒng)一數(shù)據(jù)源的分析能力，充分激活客戶的離線數(shù)據(jù)。當(dāng)中，數(shù)據(jù)入湖的時(shí)效性直接影響整體數(shù)據(jù)應(yīng)用效果，巨杉數(shù)據(jù)庫通過對(duì)接業(yè)界主流的Flink,Spark和Storm等主流的流式框架，實(shí)現(xiàn)實(shí)時(shí)生產(chǎn)數(shù)據(jù)的高速入湖，原汁原味的將數(shù)據(jù)保留在巨杉數(shù)據(jù)庫中。SequoiaDB是巨杉數(shù)據(jù)庫通過10年的不斷迭代，從多模數(shù)據(jù)湖架構(gòu)演進(jìn)出來的“湖倉一體”架構(gòu)產(chǎn)品。SequoiaDB的“湖倉一體”結(jié)合了數(shù)據(jù)湖與數(shù)據(jù)倉庫，是一個(gè)融合的基礎(chǔ)設(shè)施環(huán)境，支持從原始數(shù)據(jù)到精煉數(shù)據(jù)的整個(gè)過程，并最終提供優(yōu)化后的數(shù)據(jù)以供消費(fèi)。
秒級(jí)數(shù)據(jù)入湖
從客戶的結(jié)構(gòu)化數(shù)據(jù)需求出發(fā)，巨杉眾多的金融客戶著眼于盤活海量的歷史存量數(shù)據(jù)，并同時(shí)卸載發(fā)生在傳統(tǒng)Oracle/DB2上的業(yè)務(wù)。因此，巨杉依托自研的SequoiaDB分布式數(shù)據(jù)庫，形成了歷史數(shù)據(jù)平臺(tái)的方案。從業(yè)務(wù)的角度出發(fā)，SequoiaDB通過高性能的連接器，對(duì)接包括Flink,Spark和Storm等主流的流式框架，實(shí)現(xiàn)實(shí)時(shí)生產(chǎn)數(shù)據(jù)的高速入湖，原汁原味的將數(shù)據(jù)保留在巨杉數(shù)據(jù)庫中。這里起到的作用有點(diǎn)像數(shù)倉模型中的ODS層，但巨杉又利用其分布式數(shù)據(jù)庫高并發(fā)訪問的能力，可以直接對(duì)外提供實(shí)時(shí)數(shù)據(jù)訪問服務(wù)。
鑒于SequoiaDB多副本高可用的特性，很多用戶實(shí)際上把巨杉數(shù)據(jù)庫作為全系統(tǒng)數(shù)據(jù)的全量最終存儲(chǔ)。在部署實(shí)踐里，前端操作型數(shù)據(jù)庫產(chǎn)生的數(shù)據(jù)變更在通過ogg/CDC等工具抽取后，通過批量的方式load到巨杉數(shù)據(jù)庫中；或是加載到以kafka為代表的各類消息隊(duì)列，再通過流式引擎寫入巨杉數(shù)據(jù)庫中。流式和批量數(shù)據(jù)匯總加工整合即可對(duì)外提供服務(wù)，根據(jù)業(yè)務(wù)需要，實(shí)時(shí)入湖的數(shù)據(jù)從業(yè)務(wù)實(shí)際發(fā)生到在巨杉中提供訪問服務(wù)時(shí)延在秒級(jí)。
上圖有兩個(gè)核心技術(shù)點(diǎn)需要關(guān)注。一是數(shù)據(jù)入庫鏈路，從架構(gòu)中可以很清晰的看到通過流和批兩條數(shù)據(jù)鏈路，這是當(dāng)前比較成熟的一個(gè)典型的Lambda架構(gòu)。為了盡可能的高效接收來自不同數(shù)據(jù)源的數(shù)據(jù)，SequoiaDB開發(fā)了Spark connector和Flink connector等多種通用數(shù)據(jù)格式的解析器，打通實(shí)現(xiàn)了高可靠的數(shù)據(jù)鏈路，支持增刪改各類操作，并在客戶場景中解決exactly once數(shù)據(jù)入庫問題。
其次是隨著巨杉數(shù)據(jù)庫在業(yè)務(wù)系統(tǒng)的深入，很多用戶發(fā)現(xiàn)把數(shù)據(jù)從取出，做ETL，加載到DW層再做完各類統(tǒng)計(jì)分析匯總時(shí)，會(huì)存在以下問題：
1.時(shí)延較高，無法滿足實(shí)時(shí)分析的需求
2.搬遷復(fù)制數(shù)據(jù)成本高，數(shù)據(jù)要在不同條件下保存多份，還要開發(fā)大量的工具
3.傳統(tǒng)數(shù)倉模型不能很好的適應(yīng)業(yè)務(wù)變更，需要的專業(yè)技能門檻也很高
所以部分客戶開始跟巨杉一起探討直接在海量數(shù)據(jù)湖上做數(shù)據(jù)轉(zhuǎn)換和分析的可能，也就形成了現(xiàn)在巨杉數(shù)據(jù)庫的“湖倉一體”架構(gòu)。
流式數(shù)據(jù)加工
針對(duì)客戶提出的流式數(shù)據(jù)加工處理，以及未來越來越多的實(shí)時(shí)分析場景，SequoiaDB在結(jié)合Spark Streaming和對(duì)接Flink后，提供簡單易用的數(shù)據(jù)加載工具和列存的數(shù)據(jù)加載功能。SequoiaDB還開發(fā)了行存數(shù)據(jù)到列存數(shù)據(jù)的自動(dòng)化轉(zhuǎn)換工具，客戶只需要基于需求簡單配置需要轉(zhuǎn)換分析的表，就可以實(shí)現(xiàn)實(shí)時(shí)增量數(shù)據(jù)同步轉(zhuǎn)換，極大的方便簡化數(shù)據(jù)加工師和分析師的工作。總的來說，客戶可以在一個(gè)SequoiaDB平臺(tái)實(shí)現(xiàn)低延時(shí)的數(shù)據(jù)入庫，高并發(fā)的即時(shí)數(shù)據(jù)查詢，幾乎透明的行列數(shù)據(jù)轉(zhuǎn)換，以及高性能的數(shù)據(jù)加工分析能力。
結(jié)語
SequoiaDB通過對(duì)接業(yè)界主流的流式框架，實(shí)現(xiàn)了多源數(shù)據(jù)的快速入湖。未來，巨杉數(shù)據(jù)庫將繼續(xù)不斷創(chuàng)新，打造更加安全、穩(wěn)定、可靠的數(shù)據(jù)庫系統(tǒng)，持續(xù)助力金融行業(yè)客戶信息化創(chuàng)新，釋放全量數(shù)據(jù)價(jià)值。
