不知不覺,數據中臺已經來到了七年之癢。
回顧那些年,由阿里于2015年率先提出“大中臺、小前臺”戰略,掀起了一場數據中臺的“大躍進”。
隨后,2016 華為發布“平臺炮火支撐精兵作戰”的改革、2019 字節跳動搭建直播大中臺、騰訊開放中臺能力...以及百度、字節跳動、滴滴出行等互聯網大廠都紛紛推出自己的中臺項目。
一時間,數據中臺風光無二,言必稱數據中臺,很多企業把數據中臺當做是加速數字化轉型的關鍵因素之一。
一、數據中臺的成長曲線
大約5年后,數據中臺遭遇口碑滑鐵盧。一直到今天,關于數據中臺的爭論似乎一直沒停止過。其中,不少聲音是對數據中臺價值的質疑。
正值2020年,Gartner發布的中國ICT技術成熟度曲線圖中就提到了數據中臺成長曲線。可以看到,這個新技術即將到達一個峰值,然后就會急轉直下。
圖1:Gartner2020年中國ICT技術成熟度曲線圖
當初,數據中臺提出的初衷是為了支撐業務快速迭代創新能力,而創新業務本身需要不斷試錯,任何新事物成熟之前都必須接受市場的檢驗,存在一些起伏也算是正常現象。
在大眾的質疑聲音中,大家最為關注的還是對數據中臺如何落地的困惑。大家最擔心的是一通忙活,最后被認為神通廣大的數據中臺用不起來。”所以,如何設計可落地的中臺架構成為很多IT負責人的最大挑戰。
為了滿足企業對數據中臺的市場需求,很多如阿里、華為等大廠開始構建數據中臺產品。這一市場迅速吸引來了資本市場的關注,進而跟進一大批數據中臺創業公司。
但是,對于數據中臺的架構,Gartnert持不同意見,認為中臺架構應該通過構建場景應用,使用產品管理方式慢慢演進出來的,而不是部署另外一個大而全的中臺系統。
Gartner為什么會有這樣的觀點呢?
二、沒有數據中臺只有API
如果跟老外提及Data Middle Platform(數據中臺)一定會令對方很尷尬,因為國際市場上是沒有數據中臺這個概念的。于是,Gartner通過另外一個新概念MASA(網格應用程序和服務架構),打通國際與國內中臺理念連接的橋梁。
Gartner把MASA框架分為三層:最上層是用戶層,多樣性用戶體驗(multi experience);最下層是企業內部的應用系統,多維度的服務層面,即后臺系統;中間是API解析層,連接前端和后端。
圖2:Gartner主推的MASA架構
很顯然,MASA框架里并沒有中臺的存在,中間API解析層是一個連接層或轉換層。具體來說就是,把企業最底層的ERP、CRM 和其他應用數據或業務邏輯抽取出來,歸集到一個統一的地方,這樣當支持前臺的客戶服務時就會比較順暢或者反應速度大幅提高。
同時,由于 MASA 很大程度上是由業務驅動,必須根據最終用戶的需求再做決定,因此在API管理上,Gartner建議設立一些產品管理機制把零散分布的大量API進行有效管理。這個理念與麥聰軟件不謀而合。
麥聰軟件通過核心麥聰DaaS平臺快速靈活地開發及管理數據API,打通實時連接前臺和后臺的數據通道,為企業搭建一個自助式開放型的數據中臺,幫助企業高效實現數據資產化和數據服務化。
三、看清下一代數據中臺的技術趨勢
筆者瀏覽了Gartner從2019年至2022年連續4年的數據和分析技術趨勢。透過Gartner的預測,我們可以看清下一代數據中臺是什么樣子。
1、2019十大數據和分析技術趨勢之增強型數據管理在Gartner發布的《2019年十大數據和分析技術趨勢》中,筆者注意到其中兩個趨勢:增強型數據管理和數據結構。
其中,增強型數據管理是利用機器學習功能和人工智能引擎來生成企業信息管理類別,可以自動執行許多手動任務,將元數據從被動走向主動,便于不太精通技術的用戶能夠更加自主地使用數據,同時也讓高技能的技術人員專注于價值更高的任務。而2000年首次提出的數據結構(Data Fabric),2019年開始入選Gartner技術趨勢。
到2022年,定制式數據結構設計將主要用作靜態基礎架構,促使各企業機構為全新設計的數據結構投入資金,進而實現更具動態的數據網格(data mesh)方法。
2、2020年十大數據與分析技術趨勢之增強型數據管理增強型數據管理,在Gartner發布的《2020十大數據和分析技術趨勢》中再次重提,足可見其重要性。Gartner認為,增強型數據管理促進了元數據角色的轉變,從協助數據審計、沿襲和匯報轉為支持動態系統。而增強型數據管理產品,能夠審查大量的運營數據樣本,包括實際查詢、性能數據和方案。利用現有的使用情況和工作負載數據,增強型引擎能夠對運營進行調整,并優化配置、安全性和性能。
3、2021年十大數據與分析趨勢之增強型數據消費者增強型數據消費者,這是Gartner在《2021十大數據和分析技術趨勢》中提出一個趨勢。Gartner認為,以前預定義儀表盤和手動的數據探索將逐漸消亡,轉而取代是實時的洞見和查詢需求。儀表盤未來將被自動化、對話式、移動式和動態生成的洞見所取代,而且這些洞見都是根據用戶需求定制并被交付至用戶需要消費數據的時候,從而使企業的任何人都能獲得原來只有少數數據專家才能掌握的洞見和知識。這一趨勢將對系統實時性和穩定性提出更高的要求。
4、2022十二大數據與分析技術趨勢的3個趨勢提升數據管理能力、元數據驅動的數據編制和堅持分享開放的數據,是Gartner在《2022年十二大數據與分析趨勢》中提到3個趨勢。
筆者發現,“數據管理”這一關鍵詞被Gartner連續3年提及。Gartner認為,以數據為核心的AI是一項復雜的系統工程,包括數據管理的技術和技能,數據質量、數據集成、數據治理等基礎能力。
對于企業而言,當基于某個項目的AI模型被開發出來后,數據管理活動并沒結束,它會像動態數據管道一樣持續支持AI模型的開發,提升企業對于AI模型的洞察。當人們提及公共數據共享的時候總顧及數據安全問題。但是,對于企業而言內部數據共享的風險就會小很多。共享數據不僅能夠挖掘內部數字化的潛能,更是順應外界變化的核心引擎。
企業將會更多考慮用數據資產化、數據目錄、數據字典、數據地圖等方式,在可被治理的方式下分享數據。同時,Gartner也是第2年提到元數據。過去企業對于元數據是比較被動的,只有當企業遇到一些數據質量問題時,需要數據治理,才會對元數據進行廣范圍開發。實際上,企業可以通過元數據解決企業“數據利用率低”的問題。通過將實際問題中的決策標的、約束、偏好以及目標轉化為數學模型,企業可以更好地利用數據編織的手段,實現對于元數據的主動管理。
綜上,通過解讀Gartner連續4年的數據分析技術趨勢的預測,我們可以看清下一代數據中臺的技術趨勢,可以進一步幫助企業數據中臺選型前擦亮眼睛,選擇那些適應未來發展的數據中臺。
關于麥聰軟件
麥聰軟件,全球領先的DaaS(數據即服務)平臺提供商,通過快速提升數據API開發和管理能力,幫助企業客戶快速實現數據資產化和數據服務化,構建一個自助式開放型的數據中臺,提升企業數據服務能力。