筆者之前講過很多次數據中臺，數據中臺的計算載體包括hadoop、MPP以及流處理引擎，但你會發現這三類計算載體承載的數據內涵是不一樣的。

現在大家都急著在為大數據找場景，實際上，你只要把傳統企業內任何一個離線營銷的場景增加一個實時的維度，就有可能創造新的價值點，這是傳統企業大數據賦能業務低垂的果實。

但現實情況是實時應用的場景實現門檻有點高，假如你這個企業不能用簡單的SQL快速的實現一個實時場景應用，還需要用3-6個月去完成一個實時應用項目的建設，那么很多探索或創新就沒了。

很多公司的大數據平臺三大技術組件hadoop、MPP以及流處理很多年前就具備了，但為什么實時應用就沒法做到像取數那樣的百花齊放？

因為諸如IBM STREAM等各種流處理引擎有一定的開發門檻，比如幾年前我們的數據團隊甚至沒有一名流處理開發人員。

我們企業要能大規模的使用實時數據，就必須建立起實時的數據中臺，讓開發實時應用數據簡單到就像寫一個SQL。

數據中臺

那么，實時的數據中臺怎么做？

下面是實現實時數據中臺的一種邏輯架構，方便你去理解，其實最關鍵的是實時模型那一層。

1、實時接入：不同類型的數據需要不同的接入方式，flume+kafka現在是標配，其他還有文件、數據庫的DSG等等技術。比如運營商就有B域的訂購、通話，O域的位置、上網等各類實時數據。

2、計算框架：這里只列出一種，基于KAppa架構實現實時/離線一體化業務開發能力，相對于傳統Lambda架構，開發人員只需面對一個框架，開發、測試和運維的難度都相對較小，且能充分發揮Flink流式計算框架一點執行、高吞吐、毫秒級響應、批流融合的特點。

比如將流計算組件劃分實時數據切片，批處理組件提供離線數據模型（駐留內存），兩類數據在處理過程中實現批流關聯。

3、實時模型：跟數據倉庫模型一樣，實時模型肯定首先是面向業務的，比如運營商有流量運營、服務提醒、競爭應對、放好拉新、廳店引流、語音消費、運營評估、實時關懷、實時預警、實時洞察、實時推薦等一系列的實時場景，你總是要基于你的實時業務提煉出具備共性的數據模型要素。

比如放號拉新中的外來務工實時營銷，其中可能的觸發場景是針對漫入到某個交通樞紐并駐留10分鐘以上的用戶進行營銷投放，“在某個位置的駐留時長”這個公共要素可能就是一種可復用的實時模型。

實時模型縱向可以劃分為DWD和DW兩層，DWD模型做的其實是針對各類實時數據做命名的標準化和過濾字段的操作，方便進行數據的標準化管理，DW模型這里分成了三大類：動態模型、事件模型和時序模型，每種模型適合不同的場景，同時需要采用與之適配的存儲格式。

• 動態模型：對實時的數據進行匯總統計，適合做實時的統計指標分析，比如實時的業務辦理量，一般可存儲于Kafka和Hbase。
• 事件模型：把實時的數據抽象成一系列業務事件，比如從位置日志軌跡中記錄用戶的位置變更事件，從而可以觸發LBS的位置營銷，以下是典型的位置事件模型設計，一般可存儲于MQ和redis：

你也可以設計滑動窗口模型，比如保存最新一小時的分鐘級的滑動窗口位置信息：

• 時序模型：主要保存用戶的在線的時空位置等信息，可以基于業務場景需要進行各種快速的計算，比如非常方便的計算駐留時長，存儲于Hbase或TSDB（時序數據庫）：

4、實時服務

有了實時模型還不夠，數據中臺還需要提供圖形化、流程化、可編排的數據開發工具，才能真正的降低實時數據開發成本。但由于離線和實時數據處理的技術手段不同，導致針對這兩種類型的數據開發和管理大多是在不同的平臺承載的。

比如以前我們的離線數據模型是通過DACP平臺管理的，但實時數據則游離在DACP平臺之外，其往往屬于應用本身的一部分，應用需要通過編寫特定腳本去消費和處理流處理引擎中的原生數據，這種處理的門檻不僅高，而且資源浪費也挺嚴重，每個實時應用其實都是流數據的孤島。

站在應用的角度看，業務其實需要的是一個統一的數據開發管理平臺，離線和實時數據應作為統一的對象進行管理，比如具備混合編排，混合關聯等能力，用簡單的類SQL定制化輸出應用所需的各類數據，從而高效的對外提供實時/離線數據服務。

5、實時應用

數據中臺如果能支持實時數據的快速編排，根據我們的測算，其實時場景應用的數據開發、測試、部署周期會由0.5-1個月降低為1-2天，效益是很高的。

對于運營商來講，由于其實時數據足夠多，場景足夠豐富，建立實時數據中臺的必要性還是非常高的。

筆者記得3年前當我們開始搞校園實時營銷的時候，總是要提前3-6個月時間去做實時應用的規劃和建設，然而每年需求都要改，然后應用就得推倒重來，而且沒有任何知識留存下來。

隨著大數據內外運營的深入，我們發現這種需求越來越多，你會驚奇的發現，很多時候需求是隨著你技術能力的加強而增加的，很多時候，技術就是第一生產力。我們很多負責變現的產品、運營經理應是深有體會的。

從那個時候起，筆者就想著，我們能否建立一個真正的實時數據中臺，能夠快速高效的創建海量的實時應用，從而將大數據的管理和應用水平提升到一個新的階段，終于我們現在走到了這條路上。