前段時間寫過一篇數據中臺:《阿里數據架構師告訴你,如何建立實時數據中臺》,引起了讀者很大的興趣,現在我想更加詳細的講一講數據中臺,結合上面的這篇文章,就構成了一套完整的不同于市面上的方法論!
一、 中臺的誕生
中臺戰略是企業數字化轉型過程中的一個熱門話題。說到中臺轉型,企業大多對標阿里巴巴。
2015年阿里巴巴提出了“大中臺,小前臺”的中臺戰略,提出之初阿里有近 4 億用戶,為超過 1000萬各類企業提供服務,業務種類繁多,業務之間相互網狀依賴。同時,阿里部門也越來越多,分工越來越細,溝通過多,相互依賴,創新成本非常高,對業務響應也越來越慢。阿里需要找到能夠對外界變化快速反應,整合阿里各種基礎能力,高效支撐業務創新的機制。
相信很多公司或多或少都遇到過類似的問題,或者隨著企業規模越來越大,也正面臨著同樣的問題。
二、 中臺or平臺?
很多IT人員在談論中臺時說:“我們在系統建設之初就已將產品、用戶、權限、客戶等公共模塊獨立成了共享的平臺了,這不是中臺嗎?”也有很多人對中臺提出質疑:“中臺是個怪名詞,它不就是平臺嗎?”
我們先了解一下阿里業務中臺的發展歷程。
阿里中臺從業務中臺和數據中臺開始,后來發展出移動中臺、技術中臺、研發中臺等。
“阿里業務中臺的前身是共享平臺,原來的共享平臺更多的被當作資源團隊,承接各個業務方的需求,為業務方在基礎服務上做定制開發。”
看到這里是不是似曾相識呢。有的企業十多年前就已經完成了大一統的集中式系統拆分,將公共能力和核心能力分開建設,解決了公共模塊重復投入和重復建設的問題。有的企業共享平臺建設時間甚至比阿里還要早,但并沒有發展成為像阿里一樣的中臺。
同樣的起點,為什么結果會不一樣?
阿里這十年經歷了光速發展,同時業務領域快速擴張也增加了業務的復雜性,這種業務發展也只有像阿里這樣的互聯網企業才會遇到。可以說:業務的發展和復雜性推動了阿里中臺的誕生。
我們再進一步來了解阿里業務中臺的目標。
“業務中臺是把核心服務鏈路 (會員、商品、交易、營銷、店鋪、資金結算等) 整體當作一個平臺產品來做,為前端業務提供的是業務解決方案,而不是彼此獨立的系統。”
這也是我們為什么可以在閑魚上能直接登錄淘寶、支付寶,在刷微博時也能流暢的跳轉到淘寶和天貓店鋪的原因。您是否感受到了這種跨平臺融合能力的強大呢?
平臺化只是將部分公共模塊獨立為共享平臺。雖然平臺通過API接口或者數據共享對外提供公共服務,解決了重復建設的問題,但由于這類平臺并沒有與企業內其他平臺或應用實現頁面、業務流程和數據從前端到后端企業級的全面融合,沒有將核心業務服務鏈路作為一個整體方案考慮,各平臺仍然是獨立和分離的,本質上仍然為豎井式建設模式。
共享平臺雖然解決了公共能力復用的問題,但離中臺的目標還有一段距離!
三、 中臺到底是什么?
中臺到底是什么?“一千個讀者就有一千個哈姆雷特”,業內提法很多。
聽聽阿里業務平臺負責人玄難老師說說中臺是什么?
“中臺是一個基礎的理念和架構,我們要把所有的基礎服務用中臺的思路建設,進行聯通,共同支持上端的業務。業務中臺更多的是支持在線業務,數據中臺提供了基礎數據處理能力和很多的數據產品給所有業務方去用。業務中臺、數據中臺、算法中臺等等一起提供對上層業務的支撐。”
我們提煉幾個中臺的關鍵詞:“共享、聯通、融合和創新”。聯通是前臺以及中臺之間的聯通,融合是前臺流程和數據的融合,以共享的方式支持前端一線業務發展和創新。
中臺首先體現的是一種企業級的能力,它提供的是一套企業級的整體解決方案,解決小到企業、集團、大到生態圈的能力共享、聯通和融合的問題,支持業務和商業模式創新。通過平臺聯通和數據融合為用戶提供一致的體驗,更敏捷的支撐前臺一線業務。
中臺源于平臺,但中臺與平臺比,它更多的體現在一種理念的轉變,它更主要體現在三個關鍵能力上:
- 1. 對前臺業務的快速響應能力;
- 2. 企業級能力的復用能力;
- 3. 從前臺、中臺到后臺的設計研發、頁面操作、流程服務和數據的無縫聯通和融合能力。
其中最關鍵的是第3點:企業級的無縫聯通和融合能力,尤其對于集團化的超大企業而言,這一點至關重要。
四、 傳統企業如何做中臺?
傳統企業有別于互聯網企業,阿里、騰訊等公司是互聯網生態圈的創造者和流量入口,傳統企業作為生態圈種群中的個體,除了需要做好原有的傳統渠道業務外,還需要融入互聯網生態圈,其商業模式、個體能力、與其他個體共生的能力決定了它的發展潛力。
為了適應不同業務和渠道的發展,過去很多企業的做法是開發很多獨立的應用或App。但由于IT系統建設初期沒有企業級的整體規劃,平臺之間融合不好,導致用戶體驗不好,關鍵的是用戶也并不想裝那么多APP!
為了提高用戶體驗,實現統一運營,很多企業開始縮減APP數量,通過一個APP集成企業內所有能力,聯通前臺所有核心業務鏈路。
由于傳統企業的商業模式和IT系統建設發展的歷程與互聯網企業不完全一樣,因此傳統企業的中臺建設策略與阿里中臺戰略也應該有所差異。
由于渠道多樣化,傳統企業不僅要將通用能力中臺化(對應領域驅動設計的通用域或支撐域),以實現通用能力的沉淀、共享和復用。還需要將核心能力中臺化(對應領域驅動設計的核心域),以滿足不同渠道的核心業務能力復用的需求,避免傳統核心和互聯網不同渠道應用出現“后端雙核心、前端兩張皮”的問題。這屬于業務中臺的范疇,需解決核心業務鏈路的聯通和不同渠道服務共享的問題。
除了核心業務鏈路的聯通和服務共享,還需要解決系統微服務分拆后的數據孤島、數據融合和業務創新的問題。這屬于數據中臺的范疇。采用分布式架構后更應關注微服務拆分后的數據融合。
在中臺設計和規劃時,需要整體考慮企業內前臺、中臺以及后臺應用的協同,實現不同渠道應用的前端頁面、流程和服務的共享,實現核心業務鏈路的聯通以及前臺流程和數據的融合,支持業務和商業模式的創新。
中臺轉型要做到:前臺流程融合、中臺服務共享、數據融合創新。
五、 中臺建設應該共享什么?
分布式和云原生等開源技術的逐步成熟,阿里、騰訊等互聯網企業也從互聯網業務主戰場轉型為面向企業的2B技術能力輸出。這些成熟的云計算技術將為傳統企業中臺戰略轉型賦能,也為傳統企業中臺建設的技術路線選擇提供了多種可能。
1. 先談談前臺
傳統企業早期系統有不少是基于業務領域或組織架構來建設的,每個系統都有自己的前端,相互獨立,用戶操作是豎井式,需要登錄多個系統才能完成完整的業務流程。
中臺后的前臺建設要有一套綜合考慮業務邊界、流程和平臺的整體解決方案,實現各不同中臺前端操作、流程和界面的聯通和融合。不管后端有多少個中臺,前端用戶感受只有一個前臺!
前臺設計中可以借鑒微前端的設計思想,在企業內不僅實現前端解耦和復用,還可以根據核心鏈路和業務流程,通過對微前端頁面的動態組合和流程編排,實現前臺業務的融合。
2. 再說說中臺
這里只討論業務中臺和數據中臺。
傳統企業核心業務大多基于集中式架構開發,單體系統存在擴展性和彈性伸縮能力差的問題,無法適應忽高忽低的互聯網業務場景。而數據類應用也多數通過ETL工具抽取數據實現數據建模、統計和報表分析功能,但由于數據時效和融合能力不夠,再加上傳統數據類應用本來不是為前端而生,難以快速響應前端一線業務。
業務中臺的建設可采用領域驅動設計方法,通過領域建模,將可復用的公共能力從各單體剝離,沉淀并組合,采用微服務架構模式,建設成為可共享的通用能力中臺。同樣的將核心能力采用微服務架構模式,建設成為可面向不同渠道和場景的可復用的核心能力中臺。 業務中臺面向前臺、第三方和其它中臺提供API服務,實現通用能力和核心能力的復用。
需要記住一點:在將傳統集中式單體按業務職責和能力細分為微服務,建設中臺的過程中,會產生越來越多獨立部署的微服務。雖然提升了應用彈性和高可用能力,但由于微服務的物理隔離,原來一些系統內的調用會變成跨微服務調用,再加上前后端分離,微服務拆分會導致數據進一步分離,增加企業級應用集成的難度。
如果沒有合適的設計和指導思想,處理不好前臺、中臺和后臺的關系,將會進一步加劇前臺流程和數據的孤島化和碎片化。
數據中臺的建設可分為三步走。第一步實現各中臺業務數據的匯集,解決數據孤島和初級數據共享問題。第二步實現企業級實時或非實時全維度數據的深度融合、加工和共享。第三步萃取數據價值,支持業務創新,加速從數據轉換為業務價值的過程。
數據中臺不僅限于分析型場景,也適用于交易型場景。它可以建立在數據倉庫或數據平臺之上,將數據服務化之后提供給業務系統。基于數據庫日志捕獲的技術,使數據的時效性大大提升,可為交易型場景提供很好的支撐。
數據中臺主要完成數據的融合和加工,萃取數據業務價值,支持業務創新,對外提供數據共享服務。
六、 如何實現前臺的融合?
為什么要單獨來說前臺的融合呢?因為前臺的融合對企業級的業務融合非常重要!
中臺通過微服務實現了后端應用的解耦,提高了應用的彈性伸縮能力。但中臺化的過程中也會將單體應用拆分出許多的微服務,前臺團隊將會面對多個微服務團隊。如何實現不同中臺的前臺融合?前臺應用如何正確的連接和拼裝這些服務?不是一件很容易的事情。
為解決前臺與中臺的集成以及前臺頁面和流程的融合,我們借鑒微前端設計思想。在前端設計時,對齊微服務功能和職責,按照領域模型和微服務邊界,構建與微服務前端功能相對應的可以獨立部署、完全自治、松耦合的頁面聚合,每個聚合只負責特定的 UI 元素和特定的功能。一個完成特定微服務前端功能的頁面聚合就是一個微前端。
微前端與微服務集成后可形成從前端到中臺可獨立開發、測試、部署和運維的并且功能自包含的微前端業務組件。微前端除了可以實現前端頁面的解耦外,還可實現前端頁面的復用,這也與中臺服務復用理念是一脈相承。
在微前端之上還有一個企業級的前臺應用,它可以是一個企業級的移動APP,也可以是PC端應用,按照正確的業務邏輯和流程能夠編排和動態加載企業內所有微前端頁面,完成企業內核心業務鏈路的融合,給用戶提供一致體驗。
通用能力微前端大多作為共享的頁面和功能,其功能入口一般常駐前臺APP中,如購物車、商品、會員以及支付等功能。核心能力微前端主要完成核心業務前端功能,一般會根據業務類型動態加載對應業務的微前端頁面。
比如:可以根據商品類型,加載核心業務微前端錄單頁面。在完成所有保單錄入后,加載訂單共享微前端頁面,完成訂單生成。訂單生成后,加載支付共享微前端頁面完成支付等等。共享微前端可在不同渠道前臺實現復用。
七、總結
用技術語言總結就是:“前臺聚合,中臺解耦,數據融合,業務創新”。先有共享、后有聯通、再有創新。