（馬蜂窩技術(shù)原創(chuàng)內(nèi)容，公眾號ID：mfwtech）

一、馬蜂窩數(shù)據(jù)倉庫與數(shù)據(jù)中臺

最近幾年，數(shù)據(jù)中臺概念的熱度一直不減。2018 年起，馬蜂窩也開始了自己的數(shù)據(jù)中臺探索之路。

數(shù)據(jù)中臺到底是什么？要不要建？和數(shù)據(jù)倉庫有什么本質(zhì)的區(qū)別？相信很多企業(yè)都在關(guān)注這些問題。

我認為數(shù)據(jù)中臺的概念非常接近傳統(tǒng)數(shù)據(jù)倉庫+大數(shù)據(jù)平臺的結(jié)合體。它是在企業(yè)的數(shù)據(jù)建設(shè)經(jīng)歷了數(shù)據(jù)中心、數(shù)據(jù)倉庫等積累之后，借助平臺化的思路，將數(shù)據(jù)更好地進行整合與統(tǒng)一，以組件化的方式實現(xiàn)靈活的數(shù)據(jù)加工與應用，以更清晰的數(shù)據(jù)職能組織應對業(yè)務的快速變化，以服務的方式更好地釋放數(shù)據(jù)價值的一種方式。

所以，數(shù)據(jù)中臺更多的是體現(xiàn)一種管理思路和架構(gòu)組織上的變革。在這樣的思想下，我們結(jié)合自身業(yè)務特點建設(shè)了馬蜂窩的數(shù)據(jù)中臺，核心架構(gòu)如下：

在中臺建設(shè)之前，馬蜂窩已經(jīng)建立了自己的大數(shù)據(jù)平臺，并積累了一些通用、組件化的工具，這些可以支撐數(shù)據(jù)中臺的快速搭建。作為中臺的另一大核心部分，馬蜂窩數(shù)據(jù)倉庫主要承擔數(shù)據(jù)統(tǒng)一化建設(shè)的工作，包括統(tǒng)一數(shù)據(jù)模型，統(tǒng)一指標體系等。下面介紹馬蜂窩在數(shù)據(jù)倉庫建設(shè)方面的具體實踐。

二、數(shù)據(jù)倉庫核心架構(gòu)

馬蜂窩數(shù)據(jù)倉庫遵循標準的三層架構(gòu)，對數(shù)據(jù)分層的定位主要采取維度模型設(shè)計，不會對數(shù)據(jù)進行抽象打散處理，更多注重業(yè)務過程數(shù)據(jù)整合。現(xiàn)有數(shù)倉主要以離線為主，整體架構(gòu)如下：

如圖所示，共分為 3 層：業(yè)務數(shù)據(jù)層、公共數(shù)據(jù)層與應用數(shù)據(jù)層，每層定位、目標以及建設(shè)原則各不相同。

（1）業(yè)****務數(shù)據(jù)層：包含 STG（數(shù)據(jù)緩沖層）與 ODS（操作數(shù)據(jù)層）兩層，這兩層數(shù)據(jù)結(jié)構(gòu)與業(yè)務數(shù)據(jù)幾乎一致。

• STG：也叫數(shù)據(jù)準備區(qū)，定位是緩存來自 DB 抽取、消息、日志解析落地的臨時數(shù)據(jù)，結(jié)構(gòu)與業(yè)務系統(tǒng)保持一致；負責對垃圾數(shù)據(jù)、不規(guī)范數(shù)據(jù)進行清洗轉(zhuǎn)換；該層只為 ODS 層服務；
• ODS：操作數(shù)據(jù)層定位于業(yè)務明細數(shù)據(jù)保留區(qū)，負責保留數(shù)據(jù)接入時點后歷史變更數(shù)據(jù)，數(shù)據(jù)原則上全量保留。模型設(shè)計依據(jù)業(yè)務表數(shù)據(jù)變更特性采取拉鏈、流水表兩種形式。

（2）公共數(shù)據(jù)層：細分為 DWD（明細數(shù)據(jù)層）、DWS（匯總數(shù)據(jù)層）、DIM（公共維度層） 三層，主要用于加工存放整合后的明細業(yè)務過程數(shù)據(jù)，以及經(jīng)過輕度或重度匯總粒度公共維度指標數(shù)據(jù)。公共數(shù)據(jù)層作為倉庫核心層，定位于業(yè)務視角，提煉出對數(shù)據(jù)倉庫具有共性的數(shù)據(jù)訪問、統(tǒng)計需求，從而構(gòu)建面向支持應用、提供共享數(shù)據(jù)訪問服務的公共數(shù)據(jù)。

• DWD：這一層是整合后的業(yè)務過程明細數(shù)據(jù)，負責各業(yè)務場景垂直與水平數(shù)據(jù)整合、常用公共維度冗余加工，以及明細業(yè)務標簽信息加工；
• DWS：匯總數(shù)據(jù)層按照主題對共性維度指標數(shù)據(jù)進行輕度、高度聚合；
• DIM：對維度進行統(tǒng)一標準化定義，實現(xiàn)維度信息共享。

（3）應用數(shù)據(jù)層：DWA 層，主要用于各產(chǎn)品或各業(yè)務條線個性化的數(shù)據(jù)加工，例如商業(yè)化產(chǎn)品數(shù)據(jù)、搜索推薦，風控等。

三、數(shù)據(jù)模型設(shè)計

3.1 方法選擇

數(shù)據(jù)模型是對現(xiàn)實世界數(shù)據(jù)特征的抽象，數(shù)據(jù)模型的設(shè)計方法就是對數(shù)據(jù)進行歸納和概括的方法。目前業(yè)界主要的模型設(shè)計方法論有兩種，一是數(shù)據(jù)倉庫之父 Bill Inmon 提出的范式建模方法，又叫 ER 建模，主張站在企業(yè)角度自上而下進行數(shù)據(jù)模型構(gòu)建；二是 Ralph Kimball 大師倡導的維度建模方法，主張從業(yè)務需求出發(fā)自下而上構(gòu)建數(shù)據(jù)模型。

大數(shù)據(jù)環(huán)境下，業(yè)務系統(tǒng)數(shù)據(jù)體系龐雜，數(shù)據(jù)結(jié)構(gòu)多樣、變更頻繁，并且需要快速響應各種復雜的業(yè)務需求，以上兩種傳統(tǒng)的理論都已無法滿足互聯(lián)網(wǎng)數(shù)倉需求。在此背景下，馬蜂窩數(shù)據(jù)倉庫采取了「以需求驅(qū)動為主、數(shù)據(jù)驅(qū)動為輔」的混合模型設(shè)計方式，來根據(jù)不同的數(shù)據(jù)層次選擇模型。主要從以下四個方面綜合考慮：

1. 面向主題：采用范式模型理論中的主題劃分方法對業(yè)務數(shù)據(jù)進行分類。

**2. 一致性保證：**采用維度模型理論中的總線結(jié)構(gòu)思想，建立統(tǒng)一的一致性維度表和一致性事實表來保證一致性。

3. 數(shù)據(jù)質(zhì)量保證：無論范式建模還是維度建模都非常重視數(shù)據(jù)質(zhì)量問題，綜合使用兩個理論中的方法保證數(shù)據(jù)質(zhì)量。

4. 效率保證：合理采取維度退化、變化維、增加冗余等方法，保證數(shù)據(jù)的計算和查詢效率。

其中，ODS 選擇保持貼源的范式模型，不做進一步模型抽象，只是從節(jié)省存儲角度考慮，對該層采取拉鏈處理。DWD 與 DWS 基于對構(gòu)建成本、性能，易用性角度的考慮，主要采取維度模型和一些寬表模型。寬表模型的本質(zhì)是基于維度模型的擴展，對整個業(yè)務以及全節(jié)點信息進行垂直與水平方式整合；同時采用退化維度的方式，將不同維度的度量放入數(shù)據(jù)表的不同列中，實現(xiàn)業(yè)務全流程視圖的構(gòu)建，來提升寬表模型的易用性、查詢效率，且易于模型的擴展。

• 水平整合：水平整合就是將同一業(yè)務多數(shù)據(jù)源的數(shù)據(jù)整合到一個模型中，如果多數(shù)據(jù)源業(yè)務數(shù)據(jù)存在交集，則需要按照預設(shè)的業(yè)務規(guī)則選取一份保留，避免整合后的業(yè)務數(shù)據(jù)交叉。例如商品數(shù)據(jù)如果未進行主數(shù)據(jù)管理，不同業(yè)務線的商品信息就會散落在各業(yè)務系統(tǒng)表中，無法滿足企業(yè)級的數(shù)據(jù)分析需求，這時就需要將這些商品數(shù)據(jù)按照業(yè)務主題進行水平整合。
• 垂直整合：一次完整的業(yè)務流轉(zhuǎn)通常要經(jīng)歷多個環(huán)節(jié)，各節(jié)點信息產(chǎn)生的時點不同、儲存的數(shù)據(jù)表不同。垂直整合就是將同一業(yè)務中各關(guān)鍵節(jié)點信息整合至業(yè)務全流程寬表模型中。馬蜂窩訂單交易模型的構(gòu)建就采用了這種方式，下文將進行詳細介紹。

3.2 設(shè)計目標

馬蜂窩數(shù)據(jù)倉庫在模型設(shè)計上以準確性、易用性、及時性為設(shè)計目標，以滿足業(yè)務人員對數(shù)據(jù)的多樣需求。

• 準確性：數(shù)據(jù)質(zhì)量管控要在建模過程中落地，為數(shù)據(jù)準確性保駕護航。
• 易用性：兼顧模型的可擴展性和可理解性。
• 及時性：充分考慮模型的使用效率，提供方便快捷的數(shù)據(jù)查詢和數(shù)據(jù)計算服務。

3.3 設(shè)計流程

馬蜂窩數(shù)倉模型設(shè)計的整體流程涉及需求調(diào)研、模型設(shè)計、開發(fā)測試、模型上線四個主要環(huán)節(jié)，且規(guī)范設(shè)計了每個階段的輸出與輸入文檔。

1. 需求調(diào)研：收集和理解業(yè)務方需求，就特定需求的口徑達成統(tǒng)一，在對需求中涉及到的業(yè)務系統(tǒng)或系統(tǒng)模塊所承擔的功能進行梳理后進行表字段級分析，并對數(shù)據(jù)進行驗證，確保現(xiàn)有數(shù)據(jù)能夠支持業(yè)務需求。
2. 模型設(shè)計：根據(jù)需求和業(yè)務調(diào)研結(jié)果對模型進行初步歸類，選擇合適的主題域進行模型存放；確定主題后進入數(shù)據(jù)模型的設(shè)計階段，邏輯模型設(shè)計過程要考慮總線結(jié)構(gòu)構(gòu)建、模型規(guī)范定義等關(guān)鍵問題；物理模型設(shè)計以邏輯模型為基礎(chǔ)，兼顧存儲性能等因素對邏輯模型做的物理化的過程，是邏輯模型的最終物理實現(xiàn).物理模型在一般情況下與邏輯模型保持一致，模型設(shè)計完成后需要進入評審與 MApping 設(shè)計。
3. 模型開發(fā)：就是對模型計算腳本的代碼實現(xiàn)過程，其中包含了數(shù)據(jù)映射、腳本實現(xiàn)、測試驗證等開發(fā)過程。單元測試完成后需要通知業(yè)務方一起對模型數(shù)據(jù)進行業(yè)務驗證，對驗證問題做收集，返回驗證模型設(shè)計的合理性。
4. 模型上線：完成驗證后的模型就可以在線上生產(chǎn)環(huán)境進行部署。上線后需要為模型配置監(jiān)控，及時掌握為業(yè)務提供數(shù)據(jù)服務的狀況。我們還將模型的實體和屬性說明文檔發(fā)布給倉庫數(shù)據(jù)的使用者，使模型得到更好地應用。

3.4 主題分類

基于對目前各個部門和業(yè)務系統(tǒng)的梳理，馬蜂窩數(shù)據(jù)倉庫共設(shè)計了 4 個大數(shù)據(jù)域(交易、流量、內(nèi)容、參與人)，細分為 11 個主題：

以馬蜂窩訂單交易模型的建設(shè)為例，基于業(yè)務生產(chǎn)總線的設(shè)計是常見的模式，即首先調(diào)研訂單交易的完整過程，定位過程中的關(guān)鍵節(jié)點，確認各節(jié)點上發(fā)生的核心事實信息。模型是數(shù)據(jù)的載體，我們要做的就是通過模型（或者說模型體系）歸納生產(chǎn)總線中各個節(jié)點發(fā)生的事實信息。

訂單生產(chǎn)總線：

如上圖所示，我們需要提煉各節(jié)點的核心信息，為了避免遺漏關(guān)鍵信息，一般情況下抽象認為節(jié)點的參與人、發(fā)生時間、發(fā)生事件、發(fā)生協(xié)議屬于節(jié)點的核心信息，需要重點獲取。以下單節(jié)點為例，參與人包括下單用戶、服務商家、平臺運營人員等；發(fā)生時間包括用戶的下單時間、商家的確認時間等；發(fā)生的事件即用戶購買了商品，需要記錄圍繞這一事件產(chǎn)生的相關(guān)信息；發(fā)生協(xié)議即產(chǎn)生的訂單，訂單金額、約定內(nèi)容等都是我們需要記錄的協(xié)議信息。

在這樣的思路下，總線架構(gòu)可以在模型中不斷添加各個節(jié)點的核心信息，使模型支撐的應用范圍逐步擴展、趨于完善。因此，對業(yè)務流程的理解程度將直接影響產(chǎn)出模型的質(zhì)量。

涉及的業(yè)務節(jié)點越多，業(yè)務流程也就越復雜。從數(shù)據(jù)的角度看，這些業(yè)務過程會產(chǎn)生兩種基本的場景形態(tài)，即數(shù)據(jù)的拆分和匯聚。隨著流程的推進，前一節(jié)點的原子業(yè)務單位在新節(jié)點中可能需要拆分出更多信息，或者參與到新節(jié)點的多向流程。同樣，也可能發(fā)生數(shù)據(jù)的匯聚。以某個訂單為例，下單節(jié)點數(shù)據(jù)是訂單粒度的，而到支付節(jié)點就發(fā)生了數(shù)據(jù)拆分。數(shù)據(jù)的拆分、匯聚伴隨著總線的各節(jié)點，可能會一直發(fā)散下去。

鑒于上述情況，在模型實現(xiàn)過程中，我們不能把各節(jié)點不同粒度的數(shù)據(jù)信息都堆砌在一起，那樣會產(chǎn)生大量的冗余信息，也會使模型本身的定位不清晰，影響使用。因此，需要輸出不同粒度的模型來滿足各類應用需求。例如既會存在訂單粒度的數(shù)據(jù)模型，也會存在分析各個訂單在不同時間節(jié)點狀態(tài)信息的數(shù)據(jù)模型。

基于維度建模的思路，在模型整合生產(chǎn)總線各節(jié)點核心信息之后，會根據(jù)這些節(jié)點信息進一步擴展常用的分析維度，以減少應用層面頻繁關(guān)聯(lián)相關(guān)分析維度帶來的資源消耗，模型會反范式冗余相關(guān)維度信息，以獲取應用層的使用便捷。最終建立一個整合旅游、交通、酒店等各業(yè)務線與各業(yè)務節(jié)點信息的馬蜂窩全流程訂單模型。

四、數(shù)據(jù)倉庫工具鏈建設(shè)

為提升數(shù)據(jù)生產(chǎn)力，馬蜂窩數(shù)據(jù)倉庫建立了一套工具鏈，來實現(xiàn)采集、研發(fā)、管理流程的自動化。現(xiàn)階段比較重要的有以下三大工具：

1. 數(shù)據(jù)同步工具

同步工具主要解決兩個問題：

• 從源系統(tǒng)同步數(shù)據(jù)到數(shù)據(jù)倉庫
• 將數(shù)據(jù)倉庫的數(shù)據(jù)同步至其他環(huán)境

下面重點介紹從源系統(tǒng)同步數(shù)據(jù)到數(shù)據(jù)倉庫。

馬蜂窩的數(shù)據(jù)同步設(shè)計支撐靈活的數(shù)據(jù)接入方式，可以選擇抽取方式以及加工方式。抽取方式主要包括增量抽取或者全量抽取，加工方式面向數(shù)據(jù)的存儲方式，是需要對數(shù)據(jù)進行拉鏈式保存，或者以流水日志的方式進行存儲。

接入時，只需要填寫數(shù)據(jù)表信息配置以及具體的字段配置信息，數(shù)據(jù)就可以自動接入到數(shù)據(jù)倉庫，形成數(shù)倉的 ODS 層數(shù)據(jù)模型，如下：

2. 任務調(diào)度平臺

我們使用 Airflow 配合自研的任務調(diào)度系統(tǒng)，不僅能支持常規(guī)的任務調(diào)度，還可以支持任務調(diào)度系統(tǒng)各類數(shù)據(jù)重跑，歷史補數(shù)等需求。

別小看數(shù)據(jù)重跑、歷史補數(shù)，這兩項功能是在選擇調(diào)度工具中重要的參考項。做數(shù)據(jù)的人都清楚，在實際數(shù)據(jù)處理過程中會面臨諸多的數(shù)據(jù)口徑變化、數(shù)據(jù)異常等，需要進行數(shù)據(jù)重跑、刷新、補數(shù)等操作。

我們設(shè)計的「一鍵重跑」功能，可以將相關(guān)任務依賴的后置任務全部帶出，并支持選擇性地刪除或虛擬執(zhí)行任意節(jié)點的任務：

• 如果選擇刪除，這該任務之后所依賴的任務均不執(zhí)行
• 如果選擇虛擬執(zhí)行，則會忽略（空跑）掉該任務，后置的所有依賴任務還是會正常執(zhí)行。

如下是基于某一個任務重跑下游所有任務所列出的關(guān)系圖，選中具體的執(zhí)行節(jié)點，就可以執(zhí)行忽略或者刪除。

3. 元數(shù)據(jù)管理工具

元數(shù)據(jù)范疇包括技術(shù)元數(shù)據(jù)、業(yè)務元數(shù)據(jù)、管理元數(shù)據(jù)，在概念上不做過多闡述了。元數(shù)據(jù)管理在數(shù)據(jù)建設(shè)起著舉足輕重的作用，這部分在數(shù)倉應用中主要有 2 個點：

（1）血緣管理

血緣管理可以追溯數(shù)據(jù)加工整體鏈路，解析表的來龍去脈，用于支撐各類場景，如：

• 支持上游變更對下游影響的分析與調(diào)整
• 監(jiān)控各節(jié)點、各鏈路任務運行成本，效率
• 監(jiān)控數(shù)據(jù)模型的依賴數(shù)量，確認哪些是重點模型

如下是某一個數(shù)據(jù)模型中的血緣圖，上下游以不同顏色進行呈現(xiàn)：

（2）數(shù)據(jù)知識管理

通過對技術(shù)、業(yè)務元數(shù)據(jù)進行清晰、詳盡地描述，形成數(shù)據(jù)知識，給數(shù)據(jù)人員提供更好的使用向?qū)АＮ覀兊臄?shù)據(jù)知識主要包括實體說明與屬性說明，具體如下：

 

當然，數(shù)倉工具鏈條中還有非常多工具，例如自動化建模工具，數(shù)據(jù)質(zhì)量管理工具，數(shù)據(jù)開發(fā)工具等，都已經(jīng)得到了很好地實現(xiàn)。

五、數(shù)倉應用——指標平臺

有了合理的數(shù)倉架構(gòu)、工具鏈條支撐數(shù)據(jù)研發(fā)，接下來，就要考慮如何把產(chǎn)出的數(shù)據(jù)對外賦能。下面以馬蜂窩數(shù)據(jù)應用利器-指標平臺，進行簡單介紹。

幾乎所有的企業(yè)都會構(gòu)建自己的指標平臺，每個企業(yè)建立的標準都不一樣。在這個過程中會遇到指標繁多、定義不清楚、查詢緩慢等問題。為盡量避免這些問題，指標平臺在設(shè)計時需要遵循幾大原則：

1. 指標定義標準，清晰，容易理解，且不存在二義性，分類明確
2. 指標生產(chǎn)過程簡單、透明、可配置化
3. 指標查詢效率需要滿足快速響應
4. 指標權(quán)限管理靈活可控

基于以上原則，馬蜂窩的指標平臺按照精細化的設(shè)計進行打造，指標平臺組成架構(gòu)如下圖：

 

其中：

1. 數(shù)據(jù)倉庫是指標數(shù)據(jù)的來源，所有指標目前都是通過數(shù)據(jù)倉庫統(tǒng)一加工的
2. 指標管理包括指標創(chuàng)建與指標元數(shù)據(jù)管理：數(shù)倉負責生產(chǎn)并創(chuàng)建最核心、最基礎(chǔ)的指標；其他人員可以基于這些指標，按照規(guī)則進行指標的派生；元數(shù)據(jù)管理記錄指標的具體來源路徑，說明指標的數(shù)據(jù)來源是數(shù)倉表，或者是 Kylin，MySQL 或 ES
3. 指標字典對外呈現(xiàn)指標的定義、口徑、說明等，保證指標的透明化及可解釋性
4. 數(shù)據(jù)服務接受指標的查詢請求，針對不同場景判斷查詢的成本，選擇最優(yōu)鏈路進行指標查詢，并返回指標查詢的結(jié)果
5. 多維查詢將可以提供查詢服務的指標與維度通過界面呈現(xiàn)，用戶可以基于維度選擇指標或基于指標選擇維度，查詢具體需要的數(shù)據(jù)
6. 權(quán)限管理貫徹始終，可以支持表級、指標級、維值級別的權(quán)限管理

六、總結(jié)

企業(yè)的數(shù)據(jù)建設(shè)需要經(jīng)歷幾個大的步驟：

• 第一步，業(yè)務數(shù)據(jù)化：顧名思義，一切業(yè)務都能通過數(shù)據(jù)反映，主要指的是將傳統(tǒng)線下流程線上化；
• 第二步，數(shù)據(jù)智能化：光有數(shù)據(jù)還不行，還需要足夠的智能，如何通過智能化的數(shù)據(jù)支撐運營、營銷及各類業(yè)務，這是數(shù)據(jù)中臺當前解決的主要問題；
• 第三步，數(shù)據(jù)業(yè)務化：也就是我們常說的數(shù)據(jù)驅(qū)動業(yè)務，數(shù)據(jù)不能只是數(shù)據(jù)，數(shù)據(jù)價值最大化在于可以驅(qū)動新的業(yè)務創(chuàng)新，帶動企業(yè)增長。

目前大部企業(yè)目前都停留在第二個階段，因為這一步需要足夠夯實，才能為第三步打好基礎(chǔ)，這也是為什么各大企業(yè)要投入很大成本到大數(shù)據(jù)平臺、數(shù)據(jù)倉庫乃至數(shù)據(jù)中臺的建設(shè)中。

馬蜂窩數(shù)據(jù)中臺的建設(shè)才剛剛起步。我們認為，理想的數(shù)據(jù)中臺需要具備數(shù)據(jù)標準化、工具組件化、組織清晰化這三個核心前提。為了向這一目標邁進，我們將建立統(tǒng)一、標準化的數(shù)據(jù)倉庫作為當下數(shù)據(jù)中臺的重點工作之一。

數(shù)據(jù)來源于業(yè)務，最終也將應用于業(yè)務。只有對數(shù)據(jù)足夠重視，與業(yè)務充分銜接，才能實現(xiàn)數(shù)據(jù)價值的最大化。在馬蜂窩，從管理層，到公司研發(fā)、產(chǎn)品、運營、銷售等各角色，對數(shù)據(jù)非常重視，數(shù)據(jù)產(chǎn)品的使用人數(shù)占公司員工比例高達 75%。

大量用戶的使用，驅(qū)動著我們在數(shù)據(jù)中臺建設(shè)的路上不斷前進。如何將新興技術(shù)能力應用到數(shù)據(jù)倉庫的建設(shè)，如何以有限的成本高效解決企業(yè)在數(shù)據(jù)建設(shè)中面臨的問題，將是馬蜂窩數(shù)倉建設(shè)一直的思考。

本文作者：顏博，馬蜂窩數(shù)據(jù)倉庫研發(fā)負責人。