數(shù)據(jù)倉庫？真的有必要嗎？

我曾經(jīng)和一個業(yè)務(wù)系統(tǒng)負責(zé)人聊起數(shù)據(jù)倉庫，他感到很疑惑，“我們數(shù)據(jù)庫里不是有現(xiàn)成的數(shù)據(jù)嗎？你們數(shù)據(jù)分析師直接用就好了，為什么還要花人力物力去建設(shè)什么數(shù)據(jù)倉庫”，最后甚至直接說“我們的數(shù)據(jù)庫就是你要的數(shù)據(jù)倉庫”。

為什么公司要建立數(shù)據(jù)倉庫，而不直接使用業(yè)務(wù)系統(tǒng)保存的數(shù)據(jù)？

回答這個問題之前，我們先來看看業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別。

業(yè)務(wù)系統(tǒng)需要確保自身的正常運轉(zhuǎn)，并能快速的處理事務(wù)，因此一般是一次處理一個事務(wù)。通過與用戶的交互，將注冊信息、訂單信息、活動狀態(tài)、用戶投訴等信息記錄下來。業(yè)務(wù)系統(tǒng)只要根據(jù)既定的業(yè)務(wù)過程完成相應(yīng)的任務(wù)即可，因此，業(yè)務(wù)系統(tǒng)通常不用維護歷史數(shù)據(jù)，只需修改數(shù)據(jù)以反映業(yè)務(wù)的最新狀態(tài)。

如：我續(xù)費了一年的視頻會員，在我付完款后，視頻App里的會員狀態(tài)就要及時更新

而數(shù)據(jù)倉庫用于分析企業(yè)的運營狀況，計算新成交的訂單金額，對比過去一個月找到成交金額波動的原因，通過用戶提交的投訴找到用戶不滿意的根源。數(shù)據(jù)倉庫不會一次只處理一個事務(wù)，因為用戶的一次查詢通常需要搜索成千上萬條事務(wù)，并將查詢結(jié)果放入到一個查詢集合中。而且，為了滿足更廣闊的分析需求，數(shù)據(jù)倉庫通常需要保存歷史數(shù)據(jù)，以便于能精確評估公司在某一段時間內(nèi)的經(jīng)營情況。

如：用戶每次續(xù)費視頻會員時，數(shù)據(jù)倉庫需要記錄下每次狀態(tài)的改變，以用于后續(xù)場景的復(fù)現(xiàn)和分析。

因此，業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫面向的用戶及其需求是完全不一樣的。

• 關(guān)聯(lián)取數(shù)效率低

業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫設(shè)計基本滿足三范式，因此取數(shù)分析時需要關(guān)聯(lián)很多的數(shù)據(jù)表才能得到想要的數(shù)據(jù)，比較麻煩，而且數(shù)據(jù)還無法復(fù)用，導(dǎo)致分析效率比較低。

• 無法支持某些分析場景

基于業(yè)務(wù)系統(tǒng)數(shù)據(jù)的特性，往往不能支持某些場景的分析。業(yè)務(wù)系統(tǒng)不記錄歷史數(shù)據(jù)，只保留當(dāng)前狀態(tài)，比如我們想知道某個視頻會員從試用、開通、使用、到期這段時間內(nèi)的完整情況，但是業(yè)務(wù)系統(tǒng)里只有最新的會員等級和到期時間，是無法支持這種場景下的分析的。

你可能經(jīng)常在企業(yè)經(jīng)營管理者口中聽到這些：

1）我們收集了海量的數(shù)據(jù)，但是一直無法充分利用起來

2）我們需要以各種方式方便的對數(shù)據(jù)進行處理

3）業(yè)務(wù)/運營/銷售/分析/算法需要更加方便的獲取數(shù)據(jù)

4）我需要隨時隨地了解企業(yè)的經(jīng)營狀況， 并將最值得關(guān)注的內(nèi)容展示給我

5）會議自始至終爭論的是誰的數(shù)據(jù)正確，而不是聚焦于分析和決策

6）希望管理者能夠使用數(shù)據(jù)來制定基于事實的決策

而以上問題構(gòu)成了數(shù)據(jù)倉庫系統(tǒng)的基本需求。

數(shù)倉分層設(shè)計

數(shù)據(jù)總是用于兩個目的，業(yè)務(wù)系統(tǒng)的應(yīng)用和分析決策的制定。將數(shù)據(jù)縱向分層，將一個復(fù)雜的數(shù)據(jù)處理任務(wù)拆解成多個步驟來完成，每一層只處理一個步驟，簡單且容易理解。

將數(shù)據(jù)倉庫分為三層：

• 數(shù)據(jù)引入層（ODS，Operational Data Store）
• 數(shù)據(jù)公共層（CDM，Common Dimenions Model）
• 數(shù)據(jù)應(yīng)用層（ADS，Application Data Store）

數(shù)據(jù)引入層（ODS）：與目前業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)保持一致，方便核對數(shù)據(jù)，追溯源頭。

數(shù)據(jù)公共層（CDM）：維度表（DIM）、公共匯總層（DWS）、明細事實表（DWD）

以維度模型方法作為理論基礎(chǔ)，提高明細數(shù)據(jù)表的易用性，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工。

數(shù)據(jù)應(yīng)用層（ADS）：數(shù)據(jù)產(chǎn)品和數(shù)據(jù)報表的數(shù)據(jù)來源

數(shù)據(jù)分析師一般使用的是公共層，里面有維度數(shù)據(jù)，明細數(shù)據(jù)和輕度匯總數(shù)據(jù)，基本能滿足各類分析需求。

維度建模方法

ODS層中的數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)基本保持一致。業(yè)務(wù)系統(tǒng)是按照流程組織數(shù)據(jù)的，為保證流程的完整和使用的方便，并沒有按照業(yè)務(wù)的本質(zhì)來組織數(shù)據(jù)，不適合做分析和挖掘。

對于數(shù)倉來說，最重要的就是CDM公共層，從業(yè)務(wù)完整性的角度出發(fā)，不考慮系統(tǒng)流程，重新組織數(shù)據(jù)。公共層的目標(biāo)是建設(shè)一套覆蓋全業(yè)務(wù)域、涵蓋所有歷史數(shù)據(jù)的企業(yè)數(shù)據(jù)體系，利用這套數(shù)據(jù)體系可以還原企業(yè)在任意時刻的業(yè)務(wù)運轉(zhuǎn)狀態(tài)。

建設(shè)CDM公共層最常用的技術(shù)就是維度建模，因為它更適合大數(shù)據(jù)時代數(shù)據(jù)量巨大的特點。簡單來說，就是一張事實表+多張維度表。

當(dāng)所有維表都直接連接到“ 事實表”上時，整個圖解就像星星一樣，故也將該模型稱為星型模型。

與業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)對比，我們可以發(fā)現(xiàn)，維度建模有以下特點：

1）模型簡單易理解

站在業(yè)務(wù)的角度上，用“一張事實表+多張維度表”的模式組織數(shù)據(jù)，僅有維度、事實兩種類型數(shù)據(jù)。可以簡單的理解星型模型，就是我們把where和group后面的字段放入維度表中，把sum和count中的字段放入事實表中，并在事實表中加入維度的鍵值用于關(guān)聯(lián)。

2）可擴展性好

可以在不改變數(shù)據(jù)粒度的情況下，方便地增加新的分析維度和事實，不會影響正在使用的報表和數(shù)據(jù)應(yīng)用。

4）數(shù)據(jù)冗余

構(gòu)建維度表和事實表都需要大量的數(shù)據(jù)預(yù)處理，導(dǎo)致大量的ETL工作，并且可以看出，相比業(yè)務(wù)系統(tǒng)的精簡，星型模型明顯是“用空間換易用和效率”，存在大量的數(shù)據(jù)冗余。