人工智能層的：智慧地球、智慧城市、智慧社會(huì)企業(yè)層面的：數(shù)字互聯(lián)網(wǎng)，數(shù)字經(jīng)濟(jì)、數(shù)字平臺(tái)、數(shù)字城市、數(shù)字政府；平臺(tái)層面的：物聯(lián)網(wǎng)，云計(jì)算，大數(shù)據(jù)，5G，人工智能，機(jī)器智能，深度學(xué)習(xí)，知識(shí)圖譜技術(shù)層面的：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)、業(yè)務(wù)中臺(tái)、技術(shù)中臺(tái)等等
數(shù)據(jù)中臺(tái)
數(shù)據(jù)中臺(tái)是聚合和治理跨域數(shù)據(jù)，將數(shù)據(jù)抽象封裝成服務(wù)，提供給前臺(tái)以業(yè)務(wù)價(jià)值的邏輯概念。數(shù)據(jù)中臺(tái)是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來(lái)”的機(jī)制，一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)，通過(guò)有形的產(chǎn)品和實(shí)施方法論支撐，構(gòu)建一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務(wù)于業(yè)務(wù)的機(jī)制。數(shù)據(jù)中臺(tái)連接數(shù)據(jù)前臺(tái)和后臺(tái)，突破數(shù)據(jù)局限，為企業(yè)提供更靈活、高效、低成本的數(shù)據(jù)分析挖掘服務(wù)，避免企業(yè)為滿足具體某部門某種數(shù)據(jù)分析需求而投放大量高成本、重復(fù)性的數(shù)據(jù)開(kāi)發(fā)成本。數(shù)據(jù)中臺(tái)是指通過(guò)數(shù)據(jù)技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑。數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)一之后，會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù)，再進(jìn)行存儲(chǔ)，形成大數(shù)據(jù)資產(chǎn)層，進(jìn)而為客戶提供高效服務(wù)。數(shù)據(jù)中臺(tái)，包括平臺(tái)、工具、數(shù)據(jù)、組織、流程、規(guī)范等一切與企業(yè)數(shù)據(jù)資產(chǎn)如何用起來(lái)所相關(guān)的。
可以看出，數(shù)據(jù)中臺(tái)是解決如何用好數(shù)據(jù)的問(wèn)題，目前還缺乏一個(gè)標(biāo)準(zhǔn)，而說(shuō)到數(shù)據(jù)中臺(tái)一定會(huì)提及大數(shù)據(jù)，而大數(shù)據(jù)又是由數(shù)據(jù)倉(cāng)庫(kù)發(fā)展起來(lái)的。
數(shù)據(jù)倉(cāng)庫(kù)（Data WareHouse）簡(jiǎn)述
數(shù)據(jù)倉(cāng)庫(kù)，按照傳統(tǒng)的定義，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、非易失的、反映歷史變化（隨時(shí)間變化），用來(lái)支持管理人員決策的數(shù)據(jù)集合。
1，面向主題
操作型數(shù)據(jù)庫(kù)的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織。主題是一個(gè)抽象的概念，是數(shù)據(jù)歸類的標(biāo)準(zhǔn)，是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。例如，銀行的數(shù)據(jù)倉(cāng)庫(kù)的主題：客戶客戶數(shù)據(jù)來(lái)源：從銀行儲(chǔ)蓄數(shù)據(jù)庫(kù)、信用卡數(shù)據(jù)庫(kù)、貸款數(shù)據(jù)庫(kù)等幾個(gè)數(shù)據(jù)庫(kù)中抽取的數(shù)據(jù)整理而成。這些客戶信息有可能是一致的，也可能是不一致的，這些信息需要統(tǒng)一整合才能完整體現(xiàn)客戶。
2，集成
面向事務(wù)處理的操作型數(shù)據(jù)庫(kù)通常與某些特定的應(yīng)用相關(guān)，數(shù)據(jù)庫(kù)之間相互獨(dú)立，并且往往是異構(gòu)的。而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。具體如下：1：數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后、使用之前，必須經(jīng)過(guò)加工與集成。2：對(duì)不同的數(shù)據(jù)來(lái)源進(jìn)行統(tǒng)一數(shù)據(jù)結(jié)構(gòu)和編碼。統(tǒng)一原始數(shù) 據(jù)中的所有矛盾之處，如字段的同名異義，異名同義，單位不統(tǒng)一，字長(zhǎng)不一致等。3：將原始數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用到面向主題的大轉(zhuǎn)變。
3，非易失即相對(duì)穩(wěn)定的
操作型數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常實(shí)時(shí)更新，數(shù)據(jù)根據(jù)需要及時(shí)發(fā)生變化。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期保留，也就是數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。
數(shù)據(jù)倉(cāng)庫(kù)中包括了大量的歷史數(shù)據(jù)。
數(shù)據(jù)經(jīng)集成進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后是極少或根本不更新的。
隨時(shí)間變化即反映歷史變化
操作型數(shù)據(jù)庫(kù)主要關(guān)心當(dāng)前某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過(guò)去某一時(shí)點(diǎn)(如開(kāi)始應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)的時(shí)點(diǎn))到目前的各個(gè)階段的信息，通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，是以現(xiàn)有企業(yè)業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ)。數(shù)據(jù)倉(cāng)庫(kù)不是靜態(tài)的概念，只有把信息及時(shí)交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營(yíng)的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時(shí)提供給相應(yīng)的管理決策人員，是數(shù)據(jù)倉(cāng)庫(kù)的根本任務(wù)。因此，從產(chǎn)業(yè)界的角度看，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)是一個(gè)工程，是一個(gè)過(guò)程
數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)時(shí)限一般在５-１０年以上，甚至永不刪除，這些數(shù)據(jù)的鍵碼都包含時(shí)間項(xiàng)，標(biāo)明數(shù)據(jù)的歷史時(shí)期，方便做時(shí)間趨勢(shì)分析。
數(shù)據(jù)倉(cāng)庫(kù)，并不是數(shù)據(jù)最終目的地，而是為數(shù)據(jù)最終的目的地做好準(zhǔn)備：清洗、轉(zhuǎn)義、分類、重組、合并、拆分、統(tǒng)計(jì)等等
通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的分析，可以幫助企業(yè)，改進(jìn)業(yè)務(wù)流程、控制、成本、提高產(chǎn)品質(zhì)量等
主要解決問(wèn)題：數(shù)據(jù)報(bào)表，數(shù)據(jù)沉淀，數(shù)據(jù)計(jì)算Join過(guò)多，數(shù)據(jù)查詢過(guò)慢等問(wèn)題。
防止煙囪式開(kāi)發(fā)，減少重復(fù)開(kāi)發(fā)，開(kāi)發(fā)通用中間層數(shù)據(jù)，減少重復(fù)計(jì)算；將復(fù)雜問(wèn)題簡(jiǎn)單化，將復(fù)雜任務(wù)的多個(gè)步驟分解到各個(gè)層次中，每一層只處理較少的步驟，使單個(gè)任務(wù)更容易理解；可進(jìn)行數(shù)據(jù)血緣追蹤，便于快速定位問(wèn)題；整個(gè)數(shù)據(jù)層次清晰，每個(gè)層次的數(shù)據(jù)都有職責(zé)定位，便于使用和理解。
主要價(jià)值體現(xiàn)：企業(yè)數(shù)據(jù)模型，這些模型隨著前端業(yè)務(wù)系統(tǒng)的發(fā)展變化，不斷變革，不斷追加，不斷豐富和完善，即使系統(tǒng)不再了，也可以在短期內(nèi)快速重建起來(lái)，這也是大數(shù)據(jù)產(chǎn)品能夠快速迭代起來(lái)的一個(gè)重要原因.
總結(jié)：數(shù)據(jù)倉(cāng)庫(kù)，即為企業(yè)數(shù)據(jù)的模型沉淀，為了能更快的發(fā)展大數(shù)據(jù)應(yīng)用，提供可靠的模型來(lái)快速迭代。本文也主要為了講解數(shù)據(jù)倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù)相關(guān)圖集
數(shù)倉(cāng)硬件架構(gòu)圖
數(shù)倉(cāng)功能架構(gòu)
數(shù)倉(cāng)流程架構(gòu)圖1
數(shù)倉(cāng)流程架構(gòu)圖2
實(shí)時(shí)數(shù)倉(cāng)流程架構(gòu)圖
數(shù)據(jù)倉(cāng)庫(kù)的演進(jìn)
演進(jìn)
數(shù)據(jù)倉(cāng)庫(kù)主要用途
大家應(yīng)該已經(jīng)意識(shí)到這個(gè)問(wèn)題：既然分析型數(shù)據(jù)庫(kù)中的操作都是查詢，因此也就不需要嚴(yán)格滿足完整性/參照性約束以及范式設(shè)計(jì)要求，而這些卻正是分析型數(shù)據(jù)庫(kù)精華所在。這樣的情況下再將它歸為數(shù)據(jù)庫(kù)會(huì)很容易引起大家混淆，畢竟在絕大多數(shù)人心里數(shù)據(jù)庫(kù)是可以關(guān)系型數(shù)據(jù)庫(kù)畫上等號(hào)的。
那么為什么不干脆叫"面向分析的存儲(chǔ)系統(tǒng)"呢？這就是關(guān)于數(shù)據(jù)倉(cāng)庫(kù)最貼切的定義了。事實(shí)上數(shù)據(jù)倉(cāng)庫(kù)不應(yīng)讓傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)，因?yàn)殛P(guān)系數(shù)據(jù)庫(kù)最少也要求滿足第1范式，而數(shù)據(jù)倉(cāng)庫(kù)里的關(guān)系表可以不滿足第1范式。也就是說(shuō)，同樣的記錄在一個(gè)關(guān)系表里可以出現(xiàn)N次。但由于大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的表的統(tǒng)計(jì)分析還是用SQL，因此很多人把它和關(guān)系數(shù)據(jù)庫(kù)搞混了。
支持?jǐn)?shù)據(jù)提取
數(shù)據(jù)提取可以支撐來(lái)自企業(yè)各業(yè)務(wù)部門的數(shù)據(jù)需求。
由之前的不同業(yè)務(wù)部門給不同業(yè)務(wù)系統(tǒng)提需求轉(zhuǎn)變?yōu)椴煌瑯I(yè)務(wù)系統(tǒng)統(tǒng)一給數(shù)據(jù)倉(cāng)庫(kù)提需求，避免煙囪式開(kāi)發(fā)
數(shù)據(jù)提取
支持報(bào)表系統(tǒng)
基于企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)，向上支撐企業(yè)的各部門的統(tǒng)計(jì)報(bào)表需求，輔助支撐企業(yè)日常運(yùn)營(yíng)決策。
報(bào)表系統(tǒng)
支持?jǐn)?shù)據(jù)分析
從許多來(lái)自不同的企業(yè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)并進(jìn)行清理，以保證數(shù)據(jù)的正確性，然后經(jīng)過(guò)抽取、轉(zhuǎn)換和裝載,即ETL過(guò)程，合并到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里，從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖；
在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對(duì)其進(jìn)行分析和處理（這時(shí)信息變?yōu)檩o助決策的知識(shí)）；
最后將知識(shí)呈現(xiàn)給管理者，為管理者的決策過(guò)程提供支持 。
支持?jǐn)?shù)據(jù)挖掘
數(shù)據(jù)挖掘也稱為數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)（Knowledge Discovery in Databases, KDD），就是將高級(jí)智能計(jì)算技術(shù)應(yīng)用于大量數(shù)據(jù)中，讓計(jì)算機(jī)在有人或無(wú)人指導(dǎo)的情況下從海量數(shù)據(jù)中發(fā)現(xiàn)潛在的，有用的模式（也叫知識(shí)）。
Jiawei Han在《數(shù)據(jù)挖掘概念與技術(shù)》一書中對(duì)數(shù)據(jù)挖掘的定義：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中挖掘有趣模式和知識(shí)的過(guò)程，數(shù)據(jù)源包括數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、Web、其他信息存儲(chǔ)庫(kù)或動(dòng)態(tài)地流入系統(tǒng)的數(shù)據(jù)。
image.png
支持?jǐn)?shù)據(jù)應(yīng)用
物聯(lián)網(wǎng)基于位置數(shù)據(jù)的旅游客流分析及人群畫像通信基于位置數(shù)據(jù)的人流監(jiān)控和預(yù)警銀行基于用戶交易數(shù)據(jù)的金融畫像應(yīng)用電商根據(jù)用戶瀏覽和購(gòu)買行為的用戶標(biāo)簽體系及推薦系統(tǒng)征信機(jī)構(gòu)根據(jù)用戶信用記錄的信用評(píng)估出行基于位置數(shù)據(jù)的車流量分析，調(diào)度預(yù)測(cè)
數(shù)據(jù)集市
數(shù)據(jù)集市可以理解為是一種"小型數(shù)據(jù)倉(cāng)庫(kù)"，它只包含單個(gè)主題，且關(guān)注范圍也非全局.數(shù)據(jù)集市可以分為兩種，一種是獨(dú)立數(shù)據(jù)集市(independent data mart)，這類數(shù)據(jù)集市有自己的源數(shù)據(jù)庫(kù)和ETL架構(gòu)；另一種是非獨(dú)立數(shù)據(jù)集市(dependent data mart)，這種數(shù)據(jù)集市沒(méi)有自己的源系統(tǒng)，它的數(shù)據(jù)來(lái)自數(shù)據(jù)倉(cāng)庫(kù)。當(dāng)用戶或者應(yīng)用程序不需要/不必要/不允許用到整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)時(shí)，非獨(dú)立數(shù)據(jù)集市就可以簡(jiǎn)單為用戶提供一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的"子集"。
數(shù)據(jù)集市：部門級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)，能為某個(gè)局部范圍內(nèi)的管理人員提供服務(wù)。
數(shù)據(jù)倉(cāng)庫(kù)：企業(yè)級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)，能為企業(yè)各個(gè)部門的運(yùn)行提供決策支持。
建模的基本概念
關(guān)系建模
上圖為web應(yīng)用中的一個(gè)建模片段，遵循三范式建模，可以看出，較為松散、零碎， 物理表數(shù)量多，而數(shù)據(jù)冗余程度低。由于數(shù)據(jù)分布于眾多的表中，這些數(shù)據(jù)可以更為靈活地 被應(yīng)用，功能性較強(qiáng)。關(guān)系模型主要應(yīng)用與 OLTP 系統(tǒng)中，為了保證數(shù)據(jù)的一致性以及避免 冗余，所以大部分業(yè)務(wù)系統(tǒng)的表都是遵循第三范式的。
維度建模
維度建模(dimensional modeling)是專門用于分析型數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市建模的方法
維度建模
上圖為維度模型建模片段，主要應(yīng)用于 OLAP 系統(tǒng)中，通常以某一個(gè)事實(shí)表為中心進(jìn)行表的 組織，主要面向業(yè)務(wù)，特征是可能存在數(shù)據(jù)的冗余，但是能方便的得到數(shù)據(jù)。
關(guān)系模型雖然冗余少，但是在大規(guī)模數(shù)據(jù)，跨表分析統(tǒng)計(jì)查詢過(guò)程中，會(huì)造成多表關(guān)聯(lián)，這會(huì)大大降低執(zhí)行效率。所以通常我們采用維度模型建模，把相關(guān)各種表整理成兩種：事實(shí)表和維度表兩種
維度建模的三種模式
星形模式
星形模式(Star Schema)是最常用的維度建模方式可以看出，星形模式的維度建模由一個(gè)事實(shí)表和一組維表成，且具有以下特點(diǎn)：維表只和事實(shí)表關(guān)聯(lián)，維表之間沒(méi)有關(guān)聯(lián)；每個(gè)維表的主碼為單列，且該主碼放置在事實(shí)表中，作為兩邊連接的邏輯外鍵；以事實(shí)表為核心，維表圍繞核心呈星形分布.
雪花模式
雪花模式(Snowflake Schema)是對(duì)星形模式的擴(kuò)展，每個(gè)維表可繼續(xù)向外連接多個(gè)子維表。(三范式代表作)
星形模式中的維表相對(duì)雪花模式來(lái)說(shuō)要大，而且不滿足規(guī)范化設(shè)計(jì)。雪花模型相當(dāng)于將星形模式的大維表拆分成小維表，滿足了規(guī)范化設(shè)計(jì)。然而這種模式在實(shí)際應(yīng)用中很少見(jiàn)，因?yàn)檫@樣做會(huì)導(dǎo)致開(kāi)發(fā)難度增大，而數(shù)據(jù)冗余問(wèn)題在數(shù)據(jù)倉(cāng)庫(kù)里并不嚴(yán)重.
星座模式
星座模式(Fact Constellations Schema)也是星型模式的擴(kuò)展。
前面兩種維度建模方法都是多維表對(duì)應(yīng)單事實(shí)表，但在很多時(shí)候維度空間內(nèi)的事實(shí)表不止一個(gè)，而一個(gè)維表也可能被多個(gè)事實(shí)表用到。在業(yè)務(wù)發(fā)展后期，星座模式將作為最主要的維度建模。
維度表和事實(shí)表
維度表(dimension)表示對(duì)分析主題所屬類型的描述。比如"昨天早上張三在京東花費(fèi)200元購(gòu)買了一個(gè)皮包"。那么以購(gòu)買為主題進(jìn)行分析，可從這段信息中提取三個(gè)維度：時(shí)間維度(昨天早上)，地點(diǎn)維度(京東), 商品維度(皮包)。通常來(lái)說(shuō)維度表信息比較固定，且數(shù)據(jù)量小。維度表：一般是對(duì)事實(shí)的描述信息。每一張維表對(duì)應(yīng)現(xiàn)實(shí)世界中的一個(gè)對(duì)象或者概念。例如：用戶、商品、日期、地區(qū)等。常用于一個(gè)客觀世界的維度描述，往往列比較多。審視數(shù)據(jù)的角度維表的特征：維表的范圍很寬（具有多個(gè)屬性、列比較多）跟事實(shí)表相比，行數(shù)相對(duì)較小：通常< 10 萬(wàn)條靜態(tài)表示的，名詞性質(zhì)的表
事實(shí)表(fact table)表示對(duì)分析主題的度量。比如上面那個(gè)例子中，200元就是事實(shí)信息。事實(shí)表包含了與各維度表相關(guān)聯(lián)的邏輯外鍵，并通過(guò)JOIN方式與維度表關(guān)聯(lián)。事實(shí)表的度量通常是數(shù)值類型，且記錄數(shù)會(huì)不斷增加，表規(guī)模迅速增長(zhǎng)。事實(shí)表的特征：非常的大內(nèi)容相對(duì)的窄：列數(shù)較少經(jīng)常發(fā)生變化，每天會(huì)新增加很多動(dòng)態(tài)表示的，動(dòng)詞性質(zhì)的表事務(wù)型事實(shí)表(每天導(dǎo)入新增)以每個(gè)事務(wù)或事件為單位，例如一個(gè)銷售訂單記錄，一筆支付記錄等，作為事實(shí)表里的 一行數(shù)據(jù)。一旦事務(wù)被提交，事實(shí)表數(shù)據(jù)被插入，數(shù)據(jù)就不再進(jìn)行更改，其更新方式為增量 更新周期型快照事實(shí)表(每日全量)周期型快照事實(shí)表中不會(huì)保留所有數(shù)據(jù)，只保留固定時(shí)間間隔的數(shù)據(jù)，例如每天或者 每月的銷售額，或每月的賬戶余額等
累積型快照事實(shí)表(每天導(dǎo)入新增及變化)累計(jì)快照事實(shí)表用于跟蹤業(yè)務(wù)事實(shí)的變化。例如，數(shù)據(jù)倉(cāng)庫(kù)中可能需要累積或者存儲(chǔ) 訂單從下訂單開(kāi)始，到訂單商品被打包、運(yùn)輸、和簽收的各個(gè)業(yè)務(wù)階段的時(shí)間點(diǎn)數(shù)據(jù)來(lái)跟蹤 訂單聲明周期的進(jìn)展情況。當(dāng)這個(gè)業(yè)務(wù)過(guò)程進(jìn)行時(shí)，事實(shí)表的記錄也要不斷更新。事實(shí)維度舉例昨天我去菜市場(chǎng)買了一只蝙蝠，然后我就被隔離了。事實(shí)：訂單==>買蝙蝠這個(gè)事維度：時(shí)間==>昨天用戶==>我商品==>蝙蝠地理==>菜市場(chǎng)
數(shù)據(jù)分層
為什么分層：
簡(jiǎn)單化：把復(fù)雜的任務(wù)分解為多層來(lái)完成，每層處理各自的任務(wù)，方便定位問(wèn)題。減少重復(fù)開(kāi)發(fā)：規(guī)范數(shù)據(jù)分層，通過(guò)中間層數(shù)據(jù)，能夠極大的減少重復(fù)計(jì)算，增加結(jié)果復(fù)用性。隔離數(shù)據(jù)：不論是數(shù)據(jù)異常還是數(shù)據(jù)敏感性，使真實(shí)數(shù)據(jù)和統(tǒng)計(jì)數(shù)據(jù)解耦。
ODS層
保持?jǐn)?shù)據(jù)原貌不做任何修改，起到備份數(shù)據(jù)的作用。
數(shù)據(jù)采用壓縮，減少磁盤存儲(chǔ)空間（例如：原始數(shù)據(jù) 100G，可以壓縮到 10G 左 右）
創(chuàng)建分區(qū)表，防止后續(xù)的全表掃描
DWD層
DWD 層需構(gòu)建維度模型，一般采用星型模型，呈現(xiàn)的狀態(tài)一般為星座模型。
維度建模一般按照四個(gè)步驟：選擇業(yè)務(wù)過(guò)程→聲明粒度→確認(rèn)維度→確認(rèn)事實(shí)
選擇業(yè)務(wù)過(guò)程
在業(yè)務(wù)系統(tǒng)中，挑選我們感興趣的業(yè)務(wù)線，比如下單業(yè)務(wù)，支付業(yè)務(wù)，退款業(yè)務(wù)，物流 業(yè)務(wù)，一條業(yè)務(wù)線對(duì)應(yīng)一張事實(shí)表。
聲明粒度
訂單中，每個(gè)商品項(xiàng)作為下單事實(shí)表中的一行，粒度為每次下單
每周的訂單次數(shù)作為一行，粒度就是每周下單。
每月的訂單次數(shù)作為一行，粒度就是每月下單
數(shù)據(jù)粒度指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)中保存數(shù)據(jù)的細(xì)化程度或綜合程度的級(jí)別。
聲明粒度意味著精確定義事實(shí)表中的一行數(shù)據(jù)表示什么，應(yīng)該盡可能選擇最小粒度，以 此來(lái)應(yīng)各種各樣的需求。
典型的粒度聲明如下：
確定維度維度的主要作用是描述業(yè)務(wù)是事實(shí)，主要表示的是“誰(shuí)，何處，何時(shí)”等信息。確定事實(shí)此處的“事實(shí)”一詞，指的是業(yè)務(wù)中的度量值，例如訂單金額、下單次數(shù)等。
在 DWD 層，以業(yè)務(wù)過(guò)程為建模驅(qū)動(dòng)，基于每個(gè)具體業(yè)務(wù)過(guò)程的特點(diǎn)，構(gòu)建最細(xì)粒度的 明細(xì)層事實(shí)表。事實(shí)表可做適當(dāng)?shù)膶挶砘幚怼?/p>
DWS層統(tǒng)計(jì)各個(gè)主題對(duì)象的當(dāng)天行為，服務(wù)于 DWT 層的主題寬表，以及一些業(yè)務(wù)明細(xì)數(shù)據(jù)， 應(yīng)對(duì)特殊需求（例如，購(gòu)買行為，統(tǒng)計(jì)商品復(fù)購(gòu)率）。
DWT層
以分析的主題對(duì)象為建模驅(qū)動(dòng)，基于上層的應(yīng)用和產(chǎn)品的指標(biāo)需求，構(gòu)建主題對(duì)象的全 量寬表。（就是按照維度來(lái)決定分析者的角度，如用戶->什么時(shí)間->下了什么單，支付了什么，加入購(gòu)物車了什么
ADS層
對(duì)系統(tǒng)各大主題指標(biāo)分別進(jìn)行分析。
大數(shù)據(jù)平臺(tái)（DATA Platform)
大數(shù)據(jù)平臺(tái)則是指以處理海量數(shù)據(jù)存儲(chǔ)、計(jì)算及流數(shù)據(jù)實(shí)時(shí)計(jì)算等場(chǎng)景為主的一套基礎(chǔ)設(shè)施，包括了統(tǒng)一的數(shù)據(jù)采集中心、數(shù)據(jù)計(jì)算和存儲(chǔ)中心、數(shù)據(jù)治理中心、運(yùn)維管控中心、開(kāi)放共享中心和應(yīng)用中心。
大數(shù)據(jù)平臺(tái)的建設(shè)出發(fā)點(diǎn)是節(jié)約投資降低成本，但實(shí)際上無(wú)論從硬件投資還是從軟件開(kāi)發(fā)上都遠(yuǎn)遠(yuǎn)超過(guò)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，大量的硬件和各種開(kāi)源技術(shù)的組合，增加了研發(fā)的難度、調(diào)測(cè)部署的周期、運(yùn)維的復(fù)雜度，人力上的投入已是最初的幾倍；還有很多技術(shù)上的困難也非一朝一夕能夠突破。
首先是數(shù)據(jù)的應(yīng)用問(wèn)題，無(wú)論是數(shù)據(jù)倉(cāng)庫(kù)還是大數(shù)據(jù)平臺(tái)，里面包含了接口層數(shù)據(jù)、存儲(chǔ)層數(shù)據(jù)、輕度匯總層、重度匯總層、模型層數(shù)據(jù)、報(bào)表層數(shù)據(jù)等等，各種各樣的表有成千上萬(wàn)，這些表有的是中間處理過(guò)程，有些是一次性的報(bào)表，不同表之間的數(shù)據(jù)一致性和口徑也會(huì)不同，而且不同的表不同的字段對(duì)數(shù)據(jù)安全要求級(jí)別也不同。
此外還要考慮多租戶的資源安全管理，如何讓內(nèi)部開(kāi)發(fā)者快速獲取所需的數(shù)據(jù)資產(chǎn)目錄，如何閱讀相關(guān)數(shù)據(jù)的來(lái)龍去脈，如何快速的實(shí)現(xiàn)開(kāi)發(fā)，這些在大數(shù)據(jù)平臺(tái)建設(shè)初期沒(méi)有考慮周全。
另外一個(gè)問(wèn)題是對(duì)外應(yīng)用，隨著大數(shù)據(jù)平臺(tái)的應(yīng)用建設(shè)，每一個(gè)對(duì)外應(yīng)用都采用單一的數(shù)據(jù)庫(kù)加單一應(yīng)用建設(shè)模式，獨(dú)立考慮網(wǎng)絡(luò)安全、數(shù)據(jù)安全、共享安全，逐漸又走向了煙囪似的開(kāi)發(fā)道路。
總結(jié)：大數(shù)據(jù)平臺(tái)，即為數(shù)據(jù)一站式服務(wù)，提供可視化的數(shù)據(jù)展示，提取，計(jì)算任務(wù)安排，資源管理，數(shù)據(jù)治理，安全措施，共享應(yīng)用等等。
大數(shù)據(jù)平臺(tái)相關(guān)圖集
平臺(tái)數(shù)據(jù)流向圖
平臺(tái)流程架構(gòu)圖
數(shù)據(jù)中臺(tái)（Data Middle Platform）
數(shù)據(jù)中臺(tái)要解決什么？數(shù)據(jù)如何安全的、快速的、最小權(quán)限的、且能夠溯源的被探測(cè)和快速應(yīng)用的問(wèn)題。
數(shù)據(jù)中臺(tái)不應(yīng)該被過(guò)度的承載平臺(tái)的計(jì)算、存儲(chǔ)、加工任務(wù)，而是應(yīng)該放在解決企業(yè)邏輯模型的搭建和存儲(chǔ)、數(shù)據(jù)標(biāo)準(zhǔn)的建立、數(shù)據(jù)目錄的梳理、數(shù)據(jù)安全的界定、數(shù)據(jù)資產(chǎn)的開(kāi)放，知識(shí)圖譜的構(gòu)建。
通過(guò)一系列工具、組織、流程、規(guī)范，實(shí)現(xiàn)數(shù)據(jù)前臺(tái)和后臺(tái)的連接，突破數(shù)據(jù)局限，為企業(yè)提供更靈活、高效、低成本的數(shù)據(jù)分析挖掘服務(wù)，避免企業(yè)為滿足具體某部門某種數(shù)據(jù)分析需求而投放大量高成本、重復(fù)性的數(shù)據(jù)開(kāi)發(fā)成本。
總結(jié)：厚平臺(tái)，大中臺(tái)，小前臺(tái)；沒(méi)有基礎(chǔ)厚實(shí)笨重的大數(shù)據(jù)平臺(tái)，是不可能構(gòu)建數(shù)據(jù)能力強(qiáng)大、功能強(qiáng)大的數(shù)據(jù)中臺(tái)的；沒(méi)有大數(shù)據(jù)中臺(tái)，要迅速搭建小快靈的小前臺(tái)也只是理想化的。
中臺(tái)相關(guān)圖集
中臺(tái)架構(gòu)圖
阿里數(shù)據(jù)中臺(tái)架構(gòu)圖
數(shù)據(jù)庫(kù)的"分家"
隨著關(guān)系數(shù)據(jù)庫(kù)理論的提出，誕生了一系列經(jīng)典的RDBMS，如Oracle，MySQL，SQL Server等。這些RDBMS被成功推向市場(chǎng)，并為社會(huì)信息化的發(fā)展做出的重大貢獻(xiàn)。然而隨著數(shù)據(jù)庫(kù)使用范圍的不斷擴(kuò)大，它被逐步劃分為兩大基本類型：
操作型數(shù)據(jù)庫(kù)（OLTP）
主要用于業(yè)務(wù)支撐。一個(gè)公司往往會(huì)使用并維護(hù)若干個(gè)數(shù)據(jù)庫(kù)，這些數(shù)據(jù)庫(kù)保存著公司的日常操作數(shù)據(jù)，比如商品購(gòu)買、酒店預(yù)訂、打車下單、外賣訂購(gòu)等；
分析型數(shù)據(jù)庫(kù)（OLAP）
主要用于歷史數(shù)據(jù)分析。這類數(shù)據(jù)庫(kù)作為公司的單獨(dú)數(shù)據(jù)存儲(chǔ)，負(fù)責(zé)利用歷史數(shù)據(jù)對(duì)公司各主題域進(jìn)行統(tǒng)計(jì)分析；
總結(jié)：那么為什么要"分家"？在一起不合適嗎？能不能構(gòu)建一個(gè)同樣適用于操作和分析的統(tǒng)一數(shù)據(jù)庫(kù)？
答案是NO。一個(gè)顯然的原因是它們會(huì)"打架"......如果操作型任務(wù)和分析型任務(wù)搶資源怎么辦呢？再者，它們有太多不同，以致于早已"貌合神離"。接下來(lái)看看它們到底有哪些不同吧。
因?yàn)橹鲗?dǎo)功能的不同(面向操作/面向分析)，兩類數(shù)據(jù)庫(kù)就產(chǎn)生了很多細(xì)節(jié)上的差異。就好像玩LOL一個(gè)中單一個(gè)ADC，肯定有很多行為/觀念上的不同
OLAP 和 OLTP簡(jiǎn)介
數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機(jī)事務(wù)處理OLTP（on-line transaction processing）：是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。系統(tǒng)強(qiáng)調(diào)數(shù)據(jù)庫(kù)內(nèi)存效率，強(qiáng)調(diào)內(nèi)存各種指標(biāo)的命令率，強(qiáng)調(diào)綁定變量，強(qiáng)調(diào)并發(fā)操作。
聯(lián)機(jī)分析處理OLAP（On-Line Analytical Processing）：是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。系統(tǒng)則強(qiáng)調(diào)數(shù)據(jù)分析，強(qiáng)調(diào)SQL執(zhí)行市場(chǎng)，強(qiáng)調(diào)磁盤I/O，強(qiáng)調(diào)分區(qū)等。
OLAP 和 OLTP定義差別
對(duì)比內(nèi)容操作型數(shù)據(jù)庫(kù)(OLTP)分析型數(shù)據(jù)庫(kù)(OLAP)數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序，重復(fù)處理面向主題域，分析應(yīng)用，支持決策數(shù)據(jù)特性動(dòng)態(tài)變化，按字段更新靜態(tài)、不能直接更新，只能定時(shí)添加、刷新數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜，適合操作計(jì)算簡(jiǎn)單，適合分析使用頻率高中到低數(shù)據(jù)訪問(wèn)量每個(gè)事務(wù)只訪問(wèn)少量記錄有的事務(wù)可能需要訪問(wèn)大量記錄對(duì)響應(yīng)時(shí)間的要求以秒為單位計(jì)算以秒、分鐘、甚至小時(shí)為計(jì)算單位
OLAP 和 OLTP定位差別
對(duì)比屬性O(shè)LTPOLAP代表MysqlHive讀特性每次查詢只返回少量數(shù)據(jù)對(duì)大量數(shù)據(jù)進(jìn)行匯總寫特性隨機(jī)、低延遲寫入用戶的操作批量導(dǎo)入用戶操作人員決策人員DB設(shè)計(jì)面向應(yīng)用面向主題數(shù)據(jù)當(dāng)前的，最新的細(xì)節(jié)，二維表歷史的，聚集的，多維表工作單位事務(wù)性保證復(fù)雜查詢用戶數(shù)上千個(gè)上百萬(wàn)個(gè)DB大小100MB-GB100GB-TB以上時(shí)間要求具有實(shí)時(shí)性對(duì)時(shí)間的要求不嚴(yán)格主要應(yīng)用數(shù)據(jù)庫(kù)：WEB項(xiàng)目數(shù)據(jù)倉(cāng)庫(kù)：分析師
OLAP 和 OLTP組成差別
對(duì)比內(nèi)容操作型數(shù)據(jù)庫(kù)(OLTP)分析型數(shù)據(jù)庫(kù)(OLAP)數(shù)據(jù)時(shí)間范圍差別只會(huì)存放一定天數(shù)的數(shù)據(jù)存放的則是數(shù)年內(nèi)的數(shù)據(jù)數(shù)據(jù)細(xì)節(jié)層次差別存放的主要是細(xì)節(jié)數(shù)據(jù) 也有匯總需求，但匯總數(shù)據(jù)本身不存儲(chǔ)而只存儲(chǔ)其生成公式。這是因?yàn)椴僮餍蛿?shù)據(jù)是動(dòng)態(tài)變化的，因此匯總數(shù)據(jù)會(huì)在每次查詢時(shí)動(dòng)態(tài)生成。存放的既有細(xì)節(jié)數(shù)據(jù)，又有匯總數(shù)據(jù)，對(duì)于用戶來(lái)說(shuō)，重點(diǎn)關(guān)注的是匯總數(shù)據(jù)部分。因?yàn)閰R總數(shù)據(jù)比較穩(wěn)定不會(huì)發(fā)生改變，而且其計(jì)算量也比較大(因?yàn)闀r(shí)間跨度大)，因此它的匯總數(shù)據(jù)可考慮事先計(jì)算好，以避免重復(fù)計(jì)算。數(shù)據(jù)時(shí)間表示差別通常反映的是現(xiàn)實(shí)世界的當(dāng)前狀態(tài)既有當(dāng)前狀態(tài)，還有過(guò)去各時(shí)刻的快照?？梢跃C合所有快照對(duì)各個(gè)歷史階段進(jìn)行統(tǒng)計(jì)分析
OLAP 和 OLTP技術(shù)差別
對(duì)比內(nèi)容操作型數(shù)據(jù)庫(kù)(OLTP)分析型數(shù)據(jù)庫(kù)(OLAP)數(shù)據(jù)更新差別允許用戶進(jìn)行增，刪，改，查規(guī)范是只能進(jìn)行查詢數(shù)據(jù)冗余差別減少數(shù)據(jù)冗余，避免更新異常沒(méi)有更新操作。因此，減少數(shù)據(jù)冗余也就沒(méi)那么重要了
OLAP 和 OLTP功能差別
對(duì)比內(nèi)容操作型數(shù)據(jù)庫(kù)(OLTP)分析型數(shù)據(jù)庫(kù)(OLAP)數(shù)據(jù)讀者差別使用者是業(yè)務(wù)環(huán)境內(nèi)的各個(gè)角色，如用戶，商家，進(jìn)貨商等只被少量用戶(高級(jí)管理者)用來(lái)做綜合性決策數(shù)據(jù)定位差別是為了支撐具體業(yè)務(wù)創(chuàng)建的，因此也被稱為"面向應(yīng)用型數(shù)據(jù)庫(kù)"是針對(duì)各特定業(yè)務(wù)主題域的分析任務(wù)創(chuàng)建的，因此也被稱為"面向主題型數(shù)據(jù)庫(kù)"
OLAP典型架構(gòu)
OLAP有多種實(shí)現(xiàn)方法，根據(jù)存儲(chǔ)數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP
名稱描述細(xì)節(jié)數(shù)據(jù)存儲(chǔ)位置聚合后的數(shù)據(jù)存儲(chǔ)位置ROLAP(Relational OLAP)基于關(guān)系數(shù)據(jù)庫(kù)的OLAP實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)MOLAP(Multidimensional OLAP)基于多維數(shù)據(jù)組織的OLAP實(shí)現(xiàn)數(shù)據(jù)立方體數(shù)據(jù)立方體HOLAP(Hybrid OLAP)基于混合數(shù)據(jù)組織的OLAP實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)立方體
ROLAP(Relational Online Analytical Processing)ROLAP架構(gòu)并不會(huì)生成實(shí)際的多維數(shù)據(jù)集，而是使用雪花模式以及多個(gè)關(guān)系表對(duì)數(shù)據(jù)立方體進(jìn)行模擬，它的OLAP引擎就是將用戶的OLAP操作，如上鉆下鉆過(guò)濾合并等，轉(zhuǎn)換成SQL語(yǔ)句提交到數(shù)據(jù)庫(kù)中執(zhí)行，并且提供聚集導(dǎo)航功能，根據(jù)用戶操作的維度和度量將SQL查詢定位到最粗粒度的事實(shí)表上去
這種架構(gòu)下的查詢沒(méi)有MOLAP快速。因?yàn)镽OLAP中，所有的查詢都是被轉(zhuǎn)換為SQL語(yǔ)句執(zhí)行的。而這些SQL語(yǔ)句的執(zhí)行會(huì)涉及到多個(gè)表之間的JOIN操作，沒(méi)有MOLAP速度快，往往都是通過(guò)內(nèi)存計(jì)算實(shí)現(xiàn)。(內(nèi)存的昂貴大家是知道的)
ROLAP
MOLAP(Multidimensional Online Analytical Processing)
MOLAP架構(gòu)會(huì)生成一個(gè)新的多維數(shù)據(jù)集，也可以說(shuō)是構(gòu)建了一個(gè)實(shí)際數(shù)據(jù)立方體。事先將匯總數(shù)據(jù)計(jì)算好，存放在自己特定的多維數(shù)據(jù)庫(kù)中，用戶的OLAP操作可以直接映射到多維數(shù)據(jù)庫(kù)的訪問(wèn)，不通過(guò)SQL訪問(wèn)。(空間換時(shí)間，典型代表Kylin)
在該立方體中，每一格對(duì)應(yīng)一個(gè)直接地址，且常用的查詢已被預(yù)先計(jì)算好。因此每次的查詢都是非?？焖俚模怯捎诹⒎襟w的更新比較慢，所以是否使用這種架構(gòu)得具體問(wèn)題具體分析。
MOLAP
HOLAP(Hybrid Online Analytical Processing)
這種架構(gòu)綜合參考MOLAP和ROLAP而采用一種混合解決方案，將某些需要特別提速的查詢放到MOLAP引擎，其他查詢則調(diào)用ROLAP引擎。上述MOLAP和ROLAP的結(jié)合。它提供了更大的靈活度，MOLAP提供提供了更加快速的響應(yīng)速度。但是帶來(lái)的問(wèn)題是，數(shù)據(jù)裝載的效率非常低，因?yàn)槠鋵?shí)就是將多維的數(shù)據(jù)預(yù)先填好，但是隨著數(shù)據(jù)量過(guò)大維度成本越高，容易引起“數(shù)據(jù)爆炸”。
HOLAP
OLAP數(shù)據(jù)立方體(Data Cube)
OLAP（online analytical processing）是一種軟件技術(shù)，它使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。從各方面觀察信息，也就是從不同的維度分析數(shù)據(jù)，因此OLAP也稱為多維分析。很多年前，當(dāng)我們要手工從一堆數(shù)據(jù)中提取信息時(shí)，我們會(huì)分析一堆數(shù)據(jù)報(bào)告。通常這些數(shù)據(jù)報(bào)告采用二維表示，是行與列組成的二維表格。但在真實(shí)世界里我們分析數(shù)據(jù)的角度很可能有多個(gè)，數(shù)據(jù)立方體可以理解為就是維度擴(kuò)展后的二維表格。下圖展示了一個(gè)三維數(shù)據(jù)立方體：
OLAP
更多時(shí)候數(shù)據(jù)立方體是N維的。它的實(shí)現(xiàn)有兩種方式。其中星形模式就是其中一種，該模式其實(shí)是一種連接關(guān)系表與數(shù)據(jù)立方體的橋梁。但對(duì)于大多數(shù)純OLAP使用者來(lái)講，數(shù)據(jù)分析的對(duì)象就是這個(gè)邏輯概念上的數(shù)據(jù)立方體，其具體實(shí)現(xiàn)不用深究。對(duì)于這些OLAP工具的使用者來(lái)講，基本用法是首先配置好維表、事實(shí)表，然后在每次查詢的時(shí)候告訴OLAP需要展示的維度和事實(shí)字段和操作類型即可。
最常見(jiàn)的五大操作：切片，切塊，旋轉(zhuǎn)，上卷，下鉆
切片和切塊(Slice and Dice)
在數(shù)據(jù)立方體的某一維度上選定一個(gè)維成員的操作叫切片，而對(duì)兩個(gè)或多個(gè)維執(zhí)行選擇則叫做切塊。下圖邏輯上展示了切片和切塊操作：
切片和切塊
旋轉(zhuǎn)(Pivot)
旋轉(zhuǎn)就是指改變報(bào)表或頁(yè)面的展示方向。對(duì)于使用者來(lái)說(shuō)，就是個(gè)視圖操作，而從SQL模擬語(yǔ)句的角度來(lái)說(shuō)，就是改變SELECT后面字段的順序而已。下圖邏輯上展示了旋轉(zhuǎn)操作：
旋轉(zhuǎn)(Pivot)
上卷和下鉆(Rol-up and Drill-down)
上卷可以理解為"無(wú)視"某些維度；下鉆則是指將某些維度進(jìn)行細(xì)分。下圖邏輯上展示了上卷和下鉆操作：
上卷和下鉆
Cube 和 Cuboid
Cube（或 Data Cube），即數(shù)據(jù)立方體，是一種常用于數(shù)據(jù)分析與索引的技術(shù)；它可以對(duì)原始數(shù)據(jù)建立多維度索引。通過(guò) Cube 對(duì)數(shù)據(jù)進(jìn)行分析，可以大大加快數(shù)據(jù)的查詢效率。
Cuboid 特指在某一種維度組合下所計(jì)算的數(shù)據(jù)。給定一個(gè)數(shù)據(jù)模型，我們可以對(duì)其上的所有維度進(jìn)行組合。對(duì)于 N 個(gè)維度來(lái)說(shuō)，組合的所有可能性共有 2 的 N 次方種。對(duì)于每一種維度的組合，將度量做 聚合運(yùn)算，然后將運(yùn)算的結(jié)果保存為一個(gè)物化視圖，稱為 Cuboid。
所有維度組合的 Cuboid 作為一個(gè)整體，被稱為 Cube。所以簡(jiǎn)單來(lái)說(shuō)，一個(gè) Cube 就是許多按維度聚合的物化視圖的集合。下面來(lái)列舉一個(gè)具體的例子：假定有一個(gè)電商的銷售數(shù)據(jù)集，其中維度包括 時(shí)間（Time）、商品（Item）、地點(diǎn)（Location）和供應(yīng)商（Supplier），度量為銷售額（GMV）。
那么所有維度的組合就有 2 的 4 次方 =16 種
一維度（1D） 的組合有[Time]、[Item]、[Location]、[Supplier]4 種
二維度（2D）的組合 有[Time，Item]、[Time，Location]、[Time、Supplier]、[Item，Location]、 [Item，Supplier]、[Location，Supplier]6 種
三維度（3D）的組合也有 4 種
零維度（0D）的組合有 1 種
四維度（4D）的組合有 1 種
