數(shù)據(jù)庫(kù)的發(fā)展階段劃分?jǐn)?shù)據(jù)庫(kù)(Database)是指長(zhǎng)期保存在計(jì)算機(jī)的存儲(chǔ)設(shè)備上并按照某種模型組織起來(lái)的,可以被各種用戶或應(yīng)用共享的數(shù)據(jù)的集合。
數(shù)據(jù)庫(kù)管理系統(tǒng)(Database Management Systems)是指提供各種數(shù)據(jù)管理服務(wù)的計(jì)算機(jī)軟件系統(tǒng),這種服務(wù)包括數(shù)據(jù)對(duì)象的定義、數(shù)據(jù)存儲(chǔ)與備份、數(shù)據(jù)訪問(wèn)與更新、數(shù)據(jù)統(tǒng)計(jì)與分析、數(shù)據(jù)安全保護(hù)、數(shù)據(jù)庫(kù)運(yùn)行管理以及數(shù)據(jù)庫(kù)的建立和維護(hù)等。數(shù)據(jù)模型是數(shù)據(jù)庫(kù)系統(tǒng)的核心和基礎(chǔ),各種數(shù)據(jù)庫(kù)管理軟件都是基于不同的數(shù)據(jù)模型而生的,對(duì)數(shù)據(jù)庫(kù)技術(shù)發(fā)展階段的劃分基本按照數(shù)據(jù)模型的發(fā)展演變作為主要依據(jù)和標(biāo)志。
數(shù)據(jù)庫(kù)設(shè)計(jì)流程:數(shù)據(jù)庫(kù)設(shè)計(jì)理論正在尋求更有效的語(yǔ)義表達(dá)關(guān)系,并在各設(shè)計(jì)階段提供自動(dòng)或半自動(dòng)的設(shè)計(jì)工具和集成化的開發(fā)環(huán)境。
數(shù)據(jù)庫(kù)設(shè)計(jì):對(duì)于給定的應(yīng)用環(huán)境,構(gòu)造最優(yōu)的數(shù)據(jù)庫(kù)模式,建立數(shù)據(jù)庫(kù)及其應(yīng)用系統(tǒng),使之能夠有效地存儲(chǔ)數(shù)據(jù),并滿足各種用戶對(duì)信息分類與處理等應(yīng)用要求。數(shù)據(jù)庫(kù)設(shè)計(jì)理論正在尋求更有效的語(yǔ)義表達(dá)關(guān)系,并在各設(shè)計(jì)階段提供自動(dòng)或半自動(dòng)的設(shè)計(jì)工具和集成化的開發(fā)環(huán)境。
中國(guó)數(shù)據(jù)庫(kù)產(chǎn)品圖譜:中國(guó)數(shù)據(jù)庫(kù)廠商分為傳統(tǒng)數(shù)據(jù)庫(kù)廠商、新興數(shù)據(jù)庫(kù)廠商、云廠商、ICT跨界廠商四類,各家提供不同的集中式數(shù)據(jù)庫(kù)與分布式數(shù)據(jù)庫(kù)產(chǎn)品中國(guó)數(shù)據(jù)庫(kù)廠商及代表數(shù)據(jù)庫(kù)產(chǎn)品。
數(shù)據(jù)庫(kù)架構(gòu)維度:數(shù)據(jù)庫(kù)技術(shù)架構(gòu)整體包括管理模塊、計(jì)算模塊和存儲(chǔ)模塊,物理資源層是為數(shù)據(jù)庫(kù)提供基礎(chǔ)支撐環(huán)境。四個(gè)模塊中分別具有不同的前沿創(chuàng)新技術(shù)。
數(shù)據(jù)庫(kù)架構(gòu)維度:物理資源層是為數(shù)據(jù)庫(kù)及上層業(yè)務(wù)系統(tǒng)提供包括物理基礎(chǔ)設(shè)施的基礎(chǔ)支撐環(huán)境。
計(jì)算模塊負(fù)責(zé)解析應(yīng)用程序查詢請(qǐng)求、生成查詢計(jì)劃,并將查詢計(jì)劃自動(dòng)分配到各計(jì)算節(jié)點(diǎn)并行執(zhí)行。
存儲(chǔ)模塊負(fù)責(zé)執(zhí)行計(jì)算層數(shù)據(jù)操作請(qǐng)求,并實(shí)現(xiàn)數(shù)據(jù)在硬件層面的持久化保存,確保數(shù)據(jù)不丟失。管理模塊負(fù)責(zé)協(xié)調(diào)分布式時(shí)鐘和維護(hù)元數(shù)據(jù),并提供數(shù)據(jù)庫(kù)參數(shù)配置和運(yùn)行監(jiān)控接口。
HTAP混合事務(wù)和分析處理:目前HTAP有兩種方案∶分離架構(gòu)和統(tǒng)一架構(gòu),分離架構(gòu)是目前的主流方案。趨勢(shì)中,云原生架構(gòu)環(huán)境與HTAP系統(tǒng)的融合將衍生新的HTAP產(chǎn)品方案和技術(shù)特征。
HTAP混合事務(wù)和分析處理:HTAP描述的是消除OLTP和OLAP之間的間隔,使一個(gè)分布式數(shù)據(jù)庫(kù)系統(tǒng)既可以應(yīng)用于事務(wù)型數(shù)據(jù)庫(kù)場(chǎng)景,又可以應(yīng)用于分析型數(shù)據(jù)庫(kù)場(chǎng)景,從而滿足實(shí)時(shí)業(yè)務(wù)決策的需求。
HTAP能讓數(shù)據(jù)產(chǎn)生后馬上就可以進(jìn)入分析場(chǎng)景,但它面臨最大的問(wèn)題是如何把OLTP和OLAP兩類互斥的工作負(fù)載更好放在一個(gè)系統(tǒng)上運(yùn)行,并且實(shí)現(xiàn)資源干擾小、數(shù)據(jù)可見(jiàn)度高、延時(shí)短。
HTAP的應(yīng)用場(chǎng)景:HTAP保證一定的實(shí)時(shí)性能的同時(shí)也能充分提升響應(yīng)速度、吞吐量、并發(fā)訪問(wèn)量、事務(wù)大小、數(shù)據(jù)訪問(wèn)量及索引規(guī)模,為以下兩個(gè)場(chǎng)景帶來(lái)了業(yè)務(wù)與架構(gòu)的創(chuàng)新和提升∶
- 數(shù)據(jù)密集型業(yè)務(wù):將分析能力內(nèi)嵌進(jìn)傳統(tǒng)的OLTP業(yè)務(wù)系統(tǒng)。物聯(lián)網(wǎng)、醫(yī)療、風(fēng)控、個(gè)性化推薦營(yíng)銷等數(shù)據(jù)密集型業(yè)務(wù)可以在交易側(cè)完成實(shí)時(shí)的分析,且不會(huì)影響交易的性能與數(shù)據(jù)一致性。
- 以“用”為核心的實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái):在現(xiàn)有的數(shù)據(jù)平臺(tái)以"用"為核心,以"管"為基礎(chǔ)的數(shù)據(jù)中臺(tái),將成為企業(yè)數(shù)字化規(guī)劃與實(shí)施的重點(diǎn)創(chuàng)新與升級(jí)。讓全企業(yè)用戶能自由選擇與應(yīng)用數(shù)據(jù)資產(chǎn),實(shí)時(shí)變現(xiàn)數(shù)據(jù)紅利。
壓縮存儲(chǔ)技術(shù):Zstd的壓縮比最高,且壓縮/解壓效率表現(xiàn)較高,適用于冷存儲(chǔ)場(chǎng)景。Iz4對(duì)比當(dāng)前流行的壓縮工具,盡管壓縮比一般,卻具有最快的壓縮和解壓速度,適用于OLAP查詢場(chǎng)景。
數(shù)據(jù)壓縮的目的是為了減少數(shù)據(jù)傳輸或者轉(zhuǎn)移過(guò)程中的數(shù)據(jù)。數(shù)據(jù)壓縮存儲(chǔ)技術(shù)需要在不丟失信息的前提下,縮減數(shù)據(jù)量以減少存儲(chǔ)空間,提高傳輸、存儲(chǔ)和處理效率,或者是按照一定的算法對(duì)數(shù)據(jù)進(jìn)行重新組織,減少數(shù)據(jù)的冗余和存儲(chǔ)的空間。
目前流行的壓縮算法有SnAppy、Terark、zlib、bz2、lz4、lz77、zstd、brotli、B-tree、RLE、Delta Value Encoding、Deflate、Dictionary等。
存儲(chǔ)索引結(jié)構(gòu):在存儲(chǔ)系統(tǒng)的設(shè)計(jì)中,存儲(chǔ)引擎屬于底層數(shù)據(jù)結(jié)構(gòu),直接決定了存儲(chǔ)系統(tǒng)所能夠提供的性能和功能。常見(jiàn)存儲(chǔ)算法結(jié)構(gòu)涵蓋∶哈希存儲(chǔ),B、B+、B*樹存儲(chǔ),LSM樹存儲(chǔ)引擎,R樹,倒排索引,矩陣存儲(chǔ),對(duì)象與塊,圖結(jié)構(gòu)存儲(chǔ)等等。
在存儲(chǔ)系統(tǒng)的設(shè)計(jì)中,存儲(chǔ)引擎屬于底層數(shù)據(jù)結(jié)構(gòu),直接決定了存儲(chǔ)系統(tǒng)所能夠提供的性能和功能。在數(shù)據(jù)庫(kù)產(chǎn)品中以Hash、B+tree、LSM-tree為存儲(chǔ)引擎的主流索引架構(gòu)。
數(shù)據(jù)庫(kù)智能自治:數(shù)據(jù)庫(kù)的治理是保障數(shù)據(jù)庫(kù)安全可控的重要方式。隨著業(yè)務(wù)信息化的發(fā)展,數(shù)據(jù)庫(kù)面對(duì)的數(shù)據(jù)規(guī)模及復(fù)雜度井噴式增長(zhǎng),傳統(tǒng)的基于經(jīng)驗(yàn)的數(shù)據(jù)庫(kù)優(yōu)化工具已不能滿足負(fù)載調(diào)優(yōu)等高性能要求,需要基于學(xué)習(xí)的數(shù)據(jù)庫(kù)優(yōu)化工具∶Al4DB。
數(shù)據(jù)庫(kù)治理模式亟需基于云平臺(tái)的操作自動(dòng)化與基于Al的自動(dòng)的調(diào)參優(yōu)化、由數(shù)據(jù)驅(qū)動(dòng)的自監(jiān)控自運(yùn)維、智能化自診斷自設(shè)計(jì),來(lái)減輕甚至取消對(duì)DBA的依賴。
智能參數(shù)調(diào)優(yōu)∶通過(guò)結(jié)合深度強(qiáng)化學(xué)習(xí)和全局搜索算法等Al技術(shù),實(shí)現(xiàn)在無(wú)需人工干預(yù)的情況下,獲取最佳數(shù)據(jù)庫(kù)參數(shù)配置。支持智能參數(shù)調(diào)優(yōu)的廠商有∶華為云、騰訊云、Oceanbase、百度智能云、易鯨捷、星云科技、天云數(shù)據(jù)、阿里云等。
部署模式:數(shù)據(jù)庫(kù)的部署模式分為傳統(tǒng)本地部署(on-premise)與云部署。傳統(tǒng)的線下部署數(shù)據(jù)庫(kù)架構(gòu)依賴于高端硬件,難以支持新業(yè)務(wù)的擴(kuò)展需求。而云上部署數(shù)據(jù)庫(kù)可以橫跨多服務(wù)器和虛擬機(jī)實(shí)現(xiàn)大規(guī)模擴(kuò)展能力。
云部署數(shù)據(jù)庫(kù)產(chǎn)品已經(jīng)進(jìn)入了成熟商用階段,各大數(shù)據(jù)庫(kù)廠商都提供了不同形態(tài)的云部署數(shù)據(jù)庫(kù)產(chǎn)品及服務(wù),主要分為云托管、云服務(wù)及云原生三種形態(tài)的數(shù)據(jù)庫(kù)。