當(dāng)人們談?wù)摂?shù)據(jù)中臺(tái)時(shí),他們在談?wù)撌裁?/strong>
當(dāng)下,人人都在談?wù)摂?shù)字化轉(zhuǎn)型,但怎么轉(zhuǎn),做什么,中臺(tái)有可能成為企業(yè)推進(jìn)數(shù)字化轉(zhuǎn)型的有效方法之一。“中臺(tái)”早期是由美軍的作戰(zhàn)體系演化而來的,使用“中臺(tái)”這種作戰(zhàn)體系,目的就在于給予前方高效、靈活和強(qiáng)大炮火支持。2015年,阿里巴巴率先提出了“中臺(tái)戰(zhàn)略”,以及其有名的“大中臺(tái)、小前臺(tái)”的機(jī)制。2018年8月,阿里發(fā)布“雙中臺(tái)+ET”數(shù)字化轉(zhuǎn)型方法論,阿里的雙中臺(tái)包括了數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)。在“業(yè)務(wù)中臺(tái)”模式下,前端業(yè)務(wù)部門可以像搭積木一樣調(diào)用平臺(tái)上的產(chǎn)品技術(shù)模塊,從而快速搭建新業(yè)務(wù)場景。“數(shù)據(jù)中臺(tái)”則打破了不同業(yè)務(wù)部門之間的煙囪式IT架構(gòu),從而打通數(shù)據(jù)孤島,實(shí)現(xiàn)了“一切業(yè)務(wù)數(shù)據(jù)化”的目標(biāo)。ET大腦是指其面向特定行業(yè)的智能化解決方案。
在阿里中臺(tái)概念的引領(lǐng)下,很多企業(yè)也提出了自己的“中臺(tái)戰(zhàn)略”。如把內(nèi)部一些通用性技術(shù)平臺(tái)、支撐系統(tǒng)打包在一起,稱之為技術(shù)中臺(tái);把一些大的業(yè)務(wù)服務(wù)系統(tǒng),邏輯上集中起來稱之為業(yè)務(wù)中臺(tái);或干脆把現(xiàn)有的數(shù)據(jù)倉庫、數(shù)據(jù)治理平臺(tái)、數(shù)據(jù)運(yùn)維平臺(tái)整合稱之為數(shù)據(jù)中臺(tái);還有一種更簡單的方式,就是把以前內(nèi)部IT支撐系統(tǒng)的后臺(tái)直接改名,與數(shù)據(jù)相關(guān)的部分就叫數(shù)據(jù)中臺(tái),與業(yè)務(wù)耦合度較緊密的就叫業(yè)務(wù)中臺(tái)。以上定義,各有各有道理,但有一點(diǎn)大家都有一致的意見,就是建立中臺(tái)的目的在于:減少冗余,增加復(fù)用,快速響應(yīng)用戶需求。
一般來說,數(shù)據(jù)中臺(tái)是指企業(yè)利用大數(shù)據(jù)技術(shù),對內(nèi)外部海量數(shù)據(jù)統(tǒng)一進(jìn)行采集、計(jì)算、存儲(chǔ),并使用統(tǒng)一的數(shù)據(jù)規(guī)范進(jìn)行管理,數(shù)據(jù)規(guī)范包括數(shù)據(jù)口徑、數(shù)據(jù)模型、元數(shù)據(jù)規(guī)范、參考數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)標(biāo)準(zhǔn)、業(yè)務(wù)規(guī)則等。更進(jìn)一步,廣義的數(shù)據(jù)中臺(tái),還包括企業(yè)長期積累下來與業(yè)務(wù)有較強(qiáng)關(guān)聯(lián)性的一些技術(shù)組件,如業(yè)務(wù)標(biāo)簽,算法模型,數(shù)據(jù)產(chǎn)品等。數(shù)據(jù)中臺(tái)的主要作用在于將企業(yè)內(nèi)部所有數(shù)據(jù)統(tǒng)一處理形成標(biāo)準(zhǔn)化數(shù)據(jù),挖掘出對企業(yè)最有價(jià)值的數(shù)據(jù),構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫,對內(nèi)對外提供一致的、高可用大數(shù)據(jù)服務(wù)。
阿里公司數(shù)據(jù)中臺(tái)案例分析
阿里是數(shù)據(jù)中臺(tái)概念的首先提出者,其案例更具分析意義。從網(wǎng)絡(luò)中流傳的一幅阿里巴巴數(shù)據(jù)中臺(tái)全景圖(圖1)可以看出,阿里的數(shù)據(jù)中臺(tái)包括了計(jì)算與存儲(chǔ)平臺(tái)、數(shù)據(jù)資產(chǎn)管理、智能數(shù)據(jù)研發(fā)、統(tǒng)一數(shù)據(jù)中心中間件(OneService)四大模塊,最上層支撐著阿里數(shù)據(jù)、數(shù)據(jù)大屏、生意參謀等大數(shù)據(jù)應(yīng)用。
圖1: 阿里巴巴數(shù)據(jù)中臺(tái)全景圖
阿里的統(tǒng)一數(shù)據(jù)中心中間件又分為萃取數(shù)據(jù)中心、公共數(shù)據(jù)中心和垂直數(shù)據(jù)中心三部分,垂直數(shù)據(jù)中心負(fù)責(zé)從阿里旗下各個(gè)業(yè)務(wù)單元采集數(shù)據(jù),公共數(shù)據(jù)中心類似數(shù)據(jù)倉庫,將所有數(shù)據(jù)按不同主題域(電商、文娛、營銷、物流、金融等)分類管理,萃取數(shù)據(jù)中心負(fù)責(zé)按照業(yè)務(wù)需求,將各主題域數(shù)據(jù)加工處理,建立起消費(fèi)者、企業(yè)、內(nèi)容、商品、位置五大數(shù)據(jù)體系。阿里數(shù)據(jù)中臺(tái)的目的旨在對內(nèi)提供數(shù)據(jù)基礎(chǔ)建設(shè)和統(tǒng)一的數(shù)據(jù)服務(wù),對外提供服務(wù)商家的統(tǒng)一化數(shù)據(jù)產(chǎn)品。
通過以上架構(gòu),可以看出,阿里提出的數(shù)據(jù)中臺(tái)模式有以下一些特點(diǎn)。首先是對全域數(shù)據(jù)的采集與存儲(chǔ),實(shí)現(xiàn)了對企業(yè)中各業(yè)務(wù)類別數(shù)據(jù)的整合和集中化管理。其次是按照規(guī)范化的數(shù)據(jù)架構(gòu)(數(shù)據(jù)倉庫規(guī)劃、數(shù)據(jù)模型構(gòu)建、指標(biāo)定義規(guī)范等)統(tǒng)一研發(fā)數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)口徑、數(shù)據(jù)模型標(biāo)準(zhǔn)化。第三是建立業(yè)務(wù)需求驅(qū)動(dòng)的幾大數(shù)據(jù)體系,深度萃取數(shù)據(jù)價(jià)值;第四是集成數(shù)據(jù)資產(chǎn)管理能力,從數(shù)據(jù)的運(yùn)營、應(yīng)用、管理、分析、可視化五方面統(tǒng)一管理數(shù)據(jù)資產(chǎn)。
通過這樣的數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì),阿里實(shí)現(xiàn)了對下屏蔽各數(shù)據(jù)來源不同的現(xiàn)狀,對上提供統(tǒng)一的數(shù)據(jù)服務(wù)接口和標(biāo)準(zhǔn)化數(shù)據(jù)。數(shù)據(jù)中臺(tái)將阿里內(nèi)部諸如淘寶、天貓、聚劃算這些數(shù)據(jù)孤島一一打通,將公共數(shù)據(jù)能力積累沉淀,對內(nèi)對外提供數(shù)據(jù)共享服務(wù),新的業(yè)務(wù)需求再出現(xiàn)的時(shí)候,開發(fā)人員不用再從頭做起,直接基于數(shù)據(jù)中臺(tái)提供的能力,就可以快速完成新應(yīng)用開發(fā)。
一種理想的數(shù)據(jù)中臺(tái)架構(gòu)
企業(yè)建設(shè)數(shù)據(jù)中臺(tái)的最終目標(biāo)還是賦能業(yè)務(wù),服務(wù)用戶。數(shù)據(jù)中臺(tái)的建設(shè)也不應(yīng)該只是一個(gè)口號(hào),一次運(yùn)動(dòng),或一個(gè)項(xiàng)目,而是需要企業(yè)不斷去投入資源、迭代更新,通過數(shù)據(jù)中臺(tái)的建設(shè),驅(qū)動(dòng)企業(yè)業(yè)務(wù)創(chuàng)新和發(fā)展。企業(yè)建設(shè)數(shù)據(jù)中臺(tái),可以通過合理規(guī)劃、復(fù)用內(nèi)部現(xiàn)有已經(jīng)完善的大數(shù)據(jù)處理工具來支撐建設(shè),充分借鑒業(yè)界數(shù)據(jù)中臺(tái)建設(shè)實(shí)踐,從核心需求出發(fā),以某垂直業(yè)務(wù)的數(shù)據(jù)入手,打通數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、治理、服務(wù)的工作全流程,逐步擴(kuò)展到全域數(shù)據(jù)的接入、加工和管理,建設(shè)起自有的數(shù)據(jù)中臺(tái)。
圖2:理想中的數(shù)據(jù)中臺(tái)架構(gòu)
數(shù)據(jù)中臺(tái)包括哪些內(nèi)容,做哪些事情,圖2是筆者理想中的數(shù)據(jù)中臺(tái)架構(gòu)。共分為五個(gè)大的功能組成。
數(shù)據(jù)采集。為數(shù)據(jù)中臺(tái)提供匯集數(shù)據(jù)的能力,應(yīng)提供統(tǒng)一的數(shù)據(jù)獲取接入方式,數(shù)據(jù)來源包括內(nèi)部數(shù)據(jù)和外部數(shù)據(jù),數(shù)據(jù)類型應(yīng)支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)采集。傳統(tǒng)的ETL工具仍然可以復(fù)用,實(shí)現(xiàn)數(shù)據(jù)采集、轉(zhuǎn)換、加載等關(guān)鍵處理過程。采集方式上應(yīng)能支持對周期性接口文件的批量采集,對產(chǎn)生頻率高、實(shí)時(shí)性強(qiáng)的數(shù)據(jù)以數(shù)據(jù)流形式采集,針對企業(yè)外部互聯(lián)網(wǎng)數(shù)據(jù),使用網(wǎng)頁爬蟲自動(dòng)抓取的方式采集。
數(shù)據(jù)計(jì)算。為數(shù)據(jù)中臺(tái)提供統(tǒng)一的大數(shù)據(jù)計(jì)算能力,針對不同大數(shù)據(jù)處理場景,所需提供的數(shù)據(jù)計(jì)算能力也不同,一般主要包括批量離線計(jì)算(如MapReduce)、內(nèi)存計(jì)算(如Spark、Ignite)、在線流式計(jì)算(如Storm、Samza、Spark Streaming、S4)等。特別是人工智能技術(shù)的廣泛發(fā)展和應(yīng)用,基于大數(shù)據(jù)對機(jī)器學(xué)習(xí)算法模型的訓(xùn)練工具(如Mahout、Spark MLib、Caffe、Keras、TensorFlow)也可以歸為數(shù)據(jù)計(jì)算工具的類別。
數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)中臺(tái)中全域數(shù)據(jù)的存儲(chǔ)中心,按照不同的數(shù)據(jù)類型,可以采用圖2中一種或多種數(shù)據(jù)存儲(chǔ)系統(tǒng)的“混搭”架構(gòu)。傳統(tǒng)數(shù)據(jù)倉庫(如DB2/ORACLE/Teradata)是最為成熟穩(wěn)定的數(shù)據(jù)存儲(chǔ)方式,承載著及時(shí)性、準(zhǔn)確性要求高的企業(yè)核心應(yīng)用。分布式關(guān)系數(shù)據(jù)庫,也常簡稱為MPP數(shù)據(jù)庫,相較于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫,具有高性能處理能力、高數(shù)據(jù)吞吐能力的優(yōu)勢。NoSQL分布式數(shù)據(jù)庫屬于非關(guān)系型數(shù)據(jù)庫管理系統(tǒng),在大數(shù)據(jù)簡單存取上具備關(guān)系型數(shù)據(jù)庫無法比擬的性能優(yōu)勢。分布式文件系統(tǒng)(HDFS)是當(dāng)前最常見的大數(shù)據(jù)存儲(chǔ)方式,它具極高的性價(jià)比,擴(kuò)展性強(qiáng)。數(shù)據(jù)湖作為一種新的存儲(chǔ)大量復(fù)雜格式數(shù)據(jù),避免企業(yè)數(shù)據(jù)孤島化的數(shù)據(jù)架構(gòu)方案,可用來將不同結(jié)構(gòu)的數(shù)據(jù)統(tǒng)一聚合和存儲(chǔ)。
數(shù)據(jù)治理。亦稱之為數(shù)據(jù)資產(chǎn)管理,指的是為了實(shí)現(xiàn)對企業(yè)中數(shù)據(jù)資產(chǎn)價(jià)值的獲取、管控、交付等目的,基于制定的數(shù)據(jù)規(guī)范,對數(shù)據(jù)資產(chǎn)所做的一系列管理活動(dòng)。數(shù)據(jù)標(biāo)準(zhǔn)管理指對數(shù)據(jù)口徑、公共術(shù)語、參考數(shù)據(jù)、數(shù)據(jù)編碼等制定和實(shí)施標(biāo)準(zhǔn)化的管理活動(dòng)。數(shù)據(jù)模型管理負(fù)責(zé)對系統(tǒng)中核心的邏輯模型、物理模型、數(shù)據(jù)庫表、字段、視圖等進(jìn)行統(tǒng)一管控、促進(jìn)其規(guī)范化。元數(shù)據(jù)管理的作用是統(tǒng)一管理所有業(yè)務(wù)系統(tǒng)元數(shù)據(jù),包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、流程元數(shù)據(jù)和數(shù)據(jù)管理制度元數(shù)據(jù)。數(shù)據(jù)質(zhì)量管理,指運(yùn)用質(zhì)量管理技術(shù)稽核、度量、評(píng)估和改進(jìn)數(shù)據(jù)的質(zhì)量水平。數(shù)據(jù)安全管理,指通過制定和執(zhí)行數(shù)據(jù)安全政策和措施,為數(shù)據(jù)提供的認(rèn)證、授權(quán)、審計(jì)等安全管理能力。
數(shù)據(jù)服務(wù)。包括了與業(yè)務(wù)相關(guān)的、可復(fù)用的一些公共技術(shù)組件或產(chǎn)品,如數(shù)據(jù)目錄、數(shù)據(jù)標(biāo)簽、數(shù)據(jù)分析、數(shù)據(jù)開放接口、機(jī)器學(xué)習(xí)算法模型等,它們可以使用SAAS方式直接對外提供服務(wù),也可以以更小粒度如API、消息接口、文件接口、服務(wù)接口、SDK軟件包等方式只提供組件能力或數(shù)據(jù)服務(wù),內(nèi)部或外部第三方應(yīng)用不必關(guān)心底層數(shù)據(jù)準(zhǔn)備情況,直接調(diào)用數(shù)據(jù)服務(wù)模塊對外提供的服務(wù)接口,就可以方便進(jìn)行二次開發(fā),借以增強(qiáng)自身的能力。
以上五個(gè)功能部分中,數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲(chǔ)三部分能力,企業(yè)已經(jīng)都有現(xiàn)成的一些積累,不需要重復(fù)開發(fā),只要合理規(guī)劃進(jìn)行統(tǒng)一,就很容易獲取和建設(shè)起來。數(shù)據(jù)治理的能力,常常分散在各個(gè)支撐系統(tǒng)中,需要統(tǒng)一抽取出來,對以前考慮不全的內(nèi)容需要補(bǔ)充。數(shù)據(jù)服務(wù)能力,則更多是與業(yè)務(wù)關(guān)聯(lián)的、復(fù)用性較好的應(yīng)用組件,需要企業(yè)長期提煉、積累和優(yōu)化。
結(jié)語
大數(shù)據(jù)時(shí)代,數(shù)據(jù)常被比作石油,數(shù)據(jù)中臺(tái)的作用就是煉油廠。在沒有數(shù)據(jù)中臺(tái)的時(shí)候,企業(yè)內(nèi)部、外部數(shù)據(jù)不斷積累,數(shù)據(jù)采集方式多種多樣,數(shù)據(jù)計(jì)算、存儲(chǔ)方式各自為政,數(shù)據(jù)治理只限于某些業(yè)務(wù)條線或主題域內(nèi)數(shù)據(jù),數(shù)據(jù)服務(wù)方式也是五花八門,造成了企業(yè)內(nèi)部數(shù)據(jù)口徑、數(shù)據(jù)模型、參考數(shù)據(jù)、質(zhì)量標(biāo)準(zhǔn)、服務(wù)接口參差不齊,數(shù)據(jù)加工效率低下,極大制約了數(shù)據(jù)對應(yīng)用的支撐能力。有了數(shù)據(jù)中臺(tái),通過對海量數(shù)據(jù)進(jìn)行統(tǒng)一采集、計(jì)算、存儲(chǔ)、治理,進(jìn)行標(biāo)準(zhǔn)化,形成對企業(yè)真正有價(jià)值的數(shù)據(jù)資產(chǎn),才能為上層大數(shù)據(jù)應(yīng)用提供高質(zhì)量的數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺(tái),未來有望成為企業(yè)大數(shù)據(jù)核心能力掌控的重要抓手。
CIO之家 www.ciozj.com 微信公眾號(hào):imciow
