5月18日-19日,“第八屆亞太銀行數字化創新峰會”暨華鷹獎頒獎典禮在上海盛大啟幕。峰會以“數據&技術雙驅動銀行高質量發展”為主題,特邀30+金融行業頭部大咖亮相,超300位優秀銀行代表匯集一堂。Aloudata憑借金融科技領域領先的技術實力榮獲“華鷹獎—金融行業Data Fabric解決方案杰出服務商”,Aloudata聯合創始人&CTO 周泉受邀分享,主題《Data Fabric最佳實踐:基于算子級血緣實現主動數據治理 》。
“亞太銀行數字化創新峰會”已連續舉辦八屆,是金融行業最活躍、影響力最大的盛會之一。組委會面向銀行業發起的“BDI華鷹獎評選”活動主題包含技術實力、創新應用、行業影響力等維度,評選周期長達半年,上百家參評企業經由初審、線上投票、專家評審等環節層層篩選。此次獲獎是金融客戶對Aloudata Data Fabric方案與技術實力的一致認可;Aloudata聯合創始人&CTO 周泉在主題演講中針對Data Fabric及主動數據治理等面向未來的頂級技術趨勢深度闡述了Aloudata的獨到見解,引發現場熱議。
圖:多家頭部金融機構代表駐足Aloudata展位了解方案詳情
主動元數據:Data Fabric落地關鍵能力
作為新興的熱門話題,Data Fabric自誕生之日起就備受關注。2022年,全球著名咨詢機構 Gartner 發布的頂級戰略技術趨勢中,Data Fabric(數據編織)入選為工程信任主題的關鍵技術趨勢,它不僅首先被提及,甚至被定義為“面向未來的數據管理架構思想”。近年來,先驅企業尋求技術突破與增長的背后,基于主動元數據、知識圖譜、數據虛擬化、AI等技術的Data Fabric理念已經成為應對數據類型多樣化及數據量激增的最佳解決方案。
Aloudata聯合創始人&CTO 周泉在演講中表示,Data Fabric的核心觀點是通過數據管理模式的升級,實現更主動、智能、持續的數據治理,而主動元數據是實現智能數據管理的基礎,也是實現Data Fabric的關鍵能力。Gartner認為,未來的數據管理就像是“具備自動駕駛能力的汽車”,數據管理策略在人的監視下自動運行,然而數據管理策略的有效性絕大部分取決于主動元數據建設的好壞——可見,主動元數據是企業落地Data Fabric和主動數據治理的重要基石。
那么何謂主動元數據?周泉解釋道:
-首先,主動元數據強調更深度更持續的數據理解,過去我們在管理元數據時,更多是收集元數據并且把它呈現出來,但主動元數據更多是強調我們對元數據做持續的分析和理解,不光是理解數據的Schema、產出時間等常規信息,更多是要理解數據背后的加工口徑、業務主體、匯總粒度以及如何正確使用等;
-其次,主動元數據強調更主動的元數據服務,主動元數據的‘主動’在于用戶遇到數據使用及管理問題時,平臺不再被動等待用戶去數據目錄檢索信息,而是主動提供設計建議,抑或是可被系統執行的指令;
-最后,主動元數據更強調與數據工具主動集成,在數據生產、消費和協作的各個環節為用戶提供完整的元數據上下文以及智能建議,以實施更主動的數據管理策略。
算子級血緣:支撐實現更深度的數據理解
Aloudata 之所以能夠成為國內領先的Data Fabric方案提供商,核心在于其獨有的關鍵技術——算子級血緣,能夠實現對全域數據字段口徑的精細刻畫,支撐企業構建一份“精準、全面、語義化的元數據知識圖譜”,大幅提升數據管理效率。
相對于列血緣、表血緣,算子級血緣具備以下優勢:
-字段口徑一目了然:無需人工層層分析 SQL 代碼,算子級血緣能自動、精確地抽取兩個字段之間的加工口徑,讓字段口徑一目了然;
-精細刻畫依賴關系:算子級血緣能精細刻畫字段與字段之間的依賴關系,不論是上游庫、表、列、schema變更還是加工口徑變更,都可將變更影響評估到行級別,從而大幅降低變更影響評估面;
-端到端列級依賴可視:上至業務系統源端,下到BI、AI工具的每一個指標和圖表,算子級血緣能更精細地刻畫每一條數據鏈路,實現更精細的數據治理。
圖:算子級血緣讓復雜數據鏈路纖毫畢現
目前,Aloudata算子級血緣經過多家頭部金融機構的嚴苛驗證,能夠做到SQL解析準確率99%以上,支持絕大多數的主流 SQL 方言(Gauss、Hive、Spark、Presto、Oracle)、并可在1周內完成SQL方言擴展,讓復雜數據鏈路纖毫畢現,讓數據治理更精細、更主動、更智能。
基于主動元數據:Aloudata構建全鏈路數據治理解決方案
Aloudata 創始團隊自2019年起開始以 “用數據治理數據”的工作理念在螞蟻集團推進全域數據治理,在構建全面、精細、準確、實時的主動元數據能力上進行了大量實踐,在 EB 級數據體量上實現了安全合規治理、計存成本治理和數據質量治理等領域的自動化和智能化。2021年5月 Aloudata成立后,Aloudata團隊結合業界先進的Data Fabric架構理念,基于獨有的算子級數據血緣技術,正式推出了BigMeta主動數據治理平臺。BigMeta 能在復雜度爆炸性增長的數據生態體系下為企業提供全面、精細、準確和實時的元數據基座,并基于企業數據資產盤點、主動模型治理、數據可觀測性、安全合規治理等真實場景,構建全鏈路產品&場景解決方案:
·自動盤點全域數據,百萬數據資產1天厘清
BigMeta可從紛繁復雜的數據網絡中,快速厘清全域指標口徑、盤清主數據模型、準確識別隱私敏感數據(準確率>95%),同時還可對全域數據資產進行實時分類打標,進而實施分類分級的數據資產管理策略。
·實時在線的建模助手,10倍提升模型研發效率
BigMeta能夠自動識別重復數據資產、主動發現數據鏈路問題,并在模型研發時提供高置信 SQL 編寫建議、在模型變更前精準分析模型變更影響、在模型上線后真實量化模型收益。
·精準歸因數據異常,5分鐘完成根因定位
在數據質量監控之外,BigMeta做到讓數據鏈路可觀測,自動掃描數據資產、收集統計數據并監控這些統計數據的變化。一旦出現異常,BigMeta可基于算子級血緣追溯全鏈路所有歷史變更,分鐘級完成數據異常根因定位。
··隱私敏感數據實時追蹤,秒級感知用數合規風險
BigMeta可實時追蹤隱私敏感數據的應用、流轉和導出事件,并基于用戶隱私授權協議和應用場景標識,秒級完成對數據應用隱私合規風險的精準判斷和主動預警,防范風險于未然。
圖:Aloudata Data Fabric方案落地某頭部險企
目前,Aloudata已為多家金融頭部機構提供Data Fabric方案,并在極高復雜度的數據環境中完成實地驗證。未來,Aloudata將持續致力于為客戶提供業界最先進的技術與產品,消除最困難的數據治理技術瓶頸,幫助企業實現數據管理效率百倍提升。