在數字化轉型的浪潮中,數據中臺這一曾被視為企業數據管理與應用利器的架構模式,近期卻遭遇了市場的質疑。全球知名研究與咨詢機構Gartner在其2024年發布的數據分析與人工智能技術成熟度曲線(中國版)中,明確指出“數據中臺”已步入泡沫破裂的低谷階段,并預測其可能走向消亡。這一論斷引起了業界的廣泛關注與討論。
數據中臺自2014年前后由阿里巴巴提出并實施以來,憑借其解決數據孤島、實現數據統一管理和高效利用的能力,迅速在國內企業中得到推廣。然而,經過十多年的發展,數據中臺的弊端逐漸顯現。從技術層面看,數據中臺采用物理集中式架構,難以應對數據規模指數級增長帶來的整合挑戰,特別是跨源異構數據的處理。同時,數據中臺的建設成本高昂,投資回報周期長,ROI(投資回報率)成為企業難以忽視的問題。從業務層面看,數據中臺高度依賴ETL專業團隊和工具,缺乏時效性和靈活性,難以為前端業務決策和產品創新提供及時的數據支持。
面對數據中臺的困境,一種名為“數據編織”(Data Fabric)的全新數據管理架構理念開始受到業界的青睞。數據編織不是具體的產品,而是一種設計理念,它利用AI、機器學習和數據科學的功能,實現數據的動態整合,發現數據之間獨特的業務關系。其核心在于通過數據虛擬化技術,創建邏輯數據層,實現數據的統一訪問與管理,無需物理搬運數據。這種架構不僅提高了數據的發現與訪問效率,還降低了數據管理的成本,實現了極致敏捷的數據交付。
與數據中臺相比,數據編織的關鍵突破在于其邏輯數據層的構建。通過單點邏輯集成分散在不同系統中的數據,為數據消費者提供了一個統一的、抽象的、封裝的邏輯數據視圖。用戶可以通過這個邏輯視圖查詢和操作存儲在異構數據源中的數據,無需關心數據的位置、類型和格式。這種架構不僅解決了數據遷移和數據合規性的問題,還提高了數據的響應速度和利用效率。
國際市場對數據編織架構的發展持樂觀態度。根據全球行業分析師報告,全球數據編織市場從2020年的11億美元增長到2026年的37億美元,增長超過兩倍。Gartner也連續三年將數據編織列為“十大數據和分析技術趨勢”之一,并預測其在未來2-5年內將獲得廣泛應用。在國內市場,雖然數據編織架構的應用仍處于初期階段,但已有不少企業開始嘗試并取得了良好的應用效果。
以首創證券為例,該公司在構建數據倉庫時面臨人員短缺和技術挑戰。傳統Hadoop數倉體系需要龐大的ETL開發團隊和深厚的技術積累,而首創證券僅有少量數據工程師。通過引入數據編織架構,首創證券成功構建了一個邏輯數倉,將各業務系統的數據無縫連接。這種架構不僅簡化了數倉結構,還實現了數據的按需加速與物化,大大提高了數據處理的靈活性。報表的查詢響應率也顯著提升,一秒內響應率達到95%。
數據編織架構的出現,為企業數字化轉型提供了新的思路。它不僅能夠解決數據中臺存在的效率、成本、組織、合規等問題,還能夠滿足企業業務快速變化和數據自服務的需求。對于擁有充足資金和人才儲備的大型企業而言,數據中臺和數據編織可以相互融合、互為補充;而對于投資謹慎和人才儲備不足的數字化初階企業而言,應用數據編織則能以更低的成本、更快的速度上線業務,滿足其業務變化和調整的需求。
為了幫助企業更好地評估和應用數據編織架構,國內Data Fabric架構理念的實踐者與引領者Aloudata發布了《數據編織價值評估指南》白皮書。該白皮書提出了業界首個數據編織價值實現評估框架,包括“提升數據交付效率”、“降低數據膨脹系數”、“減少數據管理成本”三個評估維度,以及“當天需求滿足率”和“當天數據動銷率”兩個關鍵指標。這些維度和指標為企業提供了量化評估數據編織架構應用效果的方法,有助于企業更好地激發數據價值,賦能業務發展。