日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

數據中臺建設從數據中臺的認知開始

 

轉載本文需注明出處:微信公眾號EAWorld,違者必究。

 

數據中臺的概念由來已久,從技術產品構成上來講,比如數倉、大數據中間件等產品組件相對完備。但是我們認為依然不能把數據中臺建設作為一個技術平臺的項目來實施。金融機構在數字化轉型的進程中建立數據中臺,必須從戰略的高度、組織的保障及認知的更高層面來做規劃。在戰略規劃的指導下,搭建一套可持續運行的、自服務的、端到端的數據中臺建設體系,從而加速金融機構全面數字化轉型的進程。

 

企業數字化轉型,數據中臺確實是數字化轉型的試驗田,所以數據中臺掀起了一股熱潮;但是由于對數據中臺建設的認知不夠,強調數字化轉型,但是忽略了數據中臺的價值,以及數字資產的管理、運用等等。導致數據中臺最終是一個技術平臺的呈現;價值就無法最大化。本文將從數據中臺的價值體現、必備的核心能力來對數據中臺建設做一個簡短的認知。

 

數據中臺的價值體現

 

數據中臺建設從數據中臺的認知開始

 

這是一張講述數據中臺價值體現比較通用的圖;描述了數據和業務之間的一個閉環過程,區別于以往數據治理始于數據終于數據的一個自閉環,導致數據治理困難的局面。數據中臺的建設,為業務數據治理打開了一扇門。

 

由于我們通常是與金融機構的科技部門溝通,在技術人員的眼中,往往把數據中臺理解為一個技術平臺、大數據平臺。其實這是不對的,這里我們必須強調,數據中臺的核心是數據服務的能力,服務對象是業務,所以必須結合實際的業務場景,比如:精準營銷、智能風控通過服務的形式直接賦能業務,數據中臺面向的不僅僅是技術人員,更多的是業務部門。無論是由科技部門建設數據中臺,還是運營部門建設數據中臺,都必須統一數據中臺價值觀:數據是一種資產。

 

數據中臺的使命,是賦予數據資產價值變現的能力,無論是通過業務賦能的形式隱性變現,還是通過數據服務公開交易的直接變現。它們都需要一個很重要的基礎條件“數據資產化”。

 

數據中臺作為金融機構各業務系統的數據服務提供方,通過自身的數據處理能力以及業務對數據的不斷供給(業務數據化過程),形成一套持續運行的、不斷完善的數據資產體系(數據資產化過程)。當金融機構在面對業務多元化挑戰,需要構建新的前臺應用時,數據中臺可以快速的提供數據服務(資產服務化過程),靈敏的響應金融機構多元化業務創新(服務業務化過程),使金融機構在金融融合創新的時代下,持續保持高競爭力。

 

數據中臺必備的核心能力

 

數據中臺建設從數據中臺的認知開始

 

現實中,由于對數據中臺的認知不夠全面,導致數據中臺的落地困難重重,目前數據中臺的建設往往是技術組件的堆積,是傳統數據倉庫的改版。結合以往我們在數據領域耕耘多年的經驗,我們認為,數據中臺必須具備“盤”、“規”、“整”、“用”4個基本核心能力。

 

1 數據中臺之“盤”,關鍵在于盤活數據

 

我們提到“盤”,就很容易想到“盤點”一詞,沒錯,我們要說的就是“數據盤點”那點事。何為“數據盤點”?所謂“數據盤點”,我們類比“資產盤點”、“庫存盤點”來講,就是把數據家底拿出來亮一亮,看一看我們企業在經營和管理活動中,積累了哪些數據,對我們的整個數據盤面、數據鏈路有個整體的了解。剛才我們“盤”的還是內部數據,實際上我們還需要盤一盤外部數據,即我們在經營活動中,需要收集的外部數據,已經采集了哪些外部數據。

 

現在我們清楚了“盤”的范圍,即金融企業在經營、管理活動中沉淀下來的數據資源以及在經營活動中所需要的外部數據。我們已經知道了我們需要了解的數據基本面,這是不是意味夠了呢?當然不是,由于一些客觀原因,在科技建設的過程中造成數據體系煙囪式的建立,一個個的數據孤島已然形成,數據中臺建設的一大目標就是消除數據孤島,打通金融企業數據鏈路。所以,數據盤點不能僅僅停留在常規的“盤點”層面,而是要通過一定的技術手段,整合金融企業內部煙囪林立的數據體系,匯聚內外部數據資源,盤活整個數據盤面,讓數據像水、電、氣一樣流通起來,更好的服務于金融企業經營及管理活動。

 

因此,“盤”,講的是盤點,但更重要的是“盤點”完成,對數據基本面有了認知后的數據整合、匯聚,即“盤活”。

 

數據整合、匯聚的技術實現目前已經很成熟,不做贅述;在數據整合的方法上,其實無外乎兩種方式,基于ID(身份)的整合以及基于數據主題的整合。

 

2 數據中臺之“規”,重點在標簽體系

 

“規”,有法度也,是規則、是制度、是體系。

 

講數據的,通常把書類比為石油,“規”就相當于是石油提純的一個過程,那么數據中臺的“規”就是對數據提純的一個過程,即“數據資產化”過程。我們知道石油提純有一系列的標準體系,那么數據資產化也同樣需要建立完備的數據資產體系。金融機構數據資產體系建設必須圍繞業務價值,從推動業務數據向數據資產轉化的角度來構建。

 

傳統的數字化建設往往局限在單個業務單元,忽視了數據多業務關聯的屬性,缺乏對數據的深度理解。數據中臺必須連通全域數據,通過統一的數據標準,構建規范的、緊密結合業務的、可擴展的數據標簽體系。

 

數據中臺建設的核心是數據,數據中臺管理的核心也是數據,數據中臺應用的核心還是數據。數據對于金融企業如此重要,那么數據中臺建設過程中,我們依靠什么樣的數據體系來構建我們的數據中臺?那么數據中臺的數據建設體系應該是什么樣的,這些都是需要我們有一個基本認知的。

數據中臺建設從數據中臺的認知開始

 

 

我們認為數據中臺建設,至少應該包含應用、標簽、主題、貼源這4個層級結構。

 

貼源層:這個名字不知道是哪位前輩取的,顧名思義,很形象,和源數據保持一致;那么他的作用,對于我們技術部門來說還是很重要的,通俗理解就是“甩鍋”,關于這一點,大家可以細品……

 

主題層:金融企業常用的十大數據主題,對應的就是數據體系中這個層面,這里不多贅述,這一層對應的也是數據整合、匯聚的范疇。

 

標簽層:即數據對象建模層。我們講數據整合方式時,把基于ID(身份)的整合放到了一邊,那么在這里,我們就是基于 ID 把各主題、業務過程的同一對象跨主題、跨業務板塊進行打通,形成對象的全域級標簽體系,以方便對數據的深度分析、價值挖掘、敏捷應用。

 

應用層:按照金融企業特定的業務場景,從標簽層、主題層抽取數據,面向業務進行加工特定的數據,以為業務提供端到端的數據服務。當然,有些特定的業務場景需要兼顧性能需求、緊急事物需求,也可能直接從貼源層抓取數據直接服務于特定的業務場景。真正做到在對業務端到端數據服務同時,兼顧數據中臺的靈活性、可用性和穩定性。

 

  • 標簽層——數據中臺的價值魅力體現

 

數據標簽體系建設,一來可以讓數據可讀,即數據開發者和數據使用者對數據的認知統一,更方便端到端的數據使用;二來通過數據標簽目錄將標簽組織化、結構化,以一種更柔性的方式來適應未來多元化業務場景對數據應用的訴求。

 

數據中臺建設從數據中臺的認知開始

 

以上是一個金融機構比較常見的客戶標簽; 數據中臺的數據是不斷的在被業務滋養,在數據中臺的運營過程中,結合上圖我們不難想象到,標簽數據不是一成不變的,它在被業務滋養的同時,也需要不斷的調整(參數、指標、屬性、特征等),以更好的反哺業務,不斷互補,讓數據中臺為業務提供更有價值的數據服務。所以,我們總結整個標簽建設的過程大致分為以下幾步:

 

Step 1、數據對象認知:全面理清數據關系,確定數據對象。

Step 2、制定標簽目錄結構:根據業務需求,定制標簽體系框架,原則上按照三層目錄分層(具體情況具體對待),并且逐步填充標簽內容。

Step 3、整合可用數據資源:通過對象ID及ID-ID的映射關系,整合和對象相關的業務數據資源,如:賬戶數據、交易數據、行為數據、交易數據、風險數據、社交數據等。

Step 4、構建標簽模型:結合業務需求及業務人員的經驗,對數據進行建模,進一步挖掘、完善標簽。

Step 5、標簽應用:將標簽應用到實際的業務場景,為業務提供高價值的數據服務。

Step 6、標簽優化:通過業務運營檢驗標簽及權重分配的合理性,優化標簽體系,同時通過業務的滋養,豐富、完善標簽體系,進一步反哺業務運營。

 

整個標簽層的建設中,我們要秉著以數據價值為導向,尊重數據可行性、業務可行性,約束、規范整個建設過程,體現出數據中臺的價值魅力。

 

3 數據中臺之“整”,難點在于數據治理

 

“整”,漢語對整的解釋非常多,《后漢書·張衡傳》中有云“整法度”,即整頓法度,所以整字,有整頓、整治、治理等意思,在這里,我們取的也是“整”字,整頓、整治、治理之義。

 

數據治理是數據資產管理中必不可少的一部分。數據治理興起于上世紀90年代,但是縱觀中國整個發展史,每一次朝代的更替,都是一次數據治理的過程,最近的,清政府入關,“留頭不留發、留發不留頭”,這就是一場數據治理。再往前,最早的,秦滅六國,始皇帝統一度量衡、焚書坑儒,車同軌、書同文是中國歷史上最為徹底的一次數據治理。因此,我們中國人對于數據治理的概念向來不陌生。

 

1、找差距、定計劃

 

數據治理是一個持久戰,是一個持續性的工作;我們需要根據自身所處的現狀,來制定近期、中期、長期的戰略計劃,在整體戰略規劃中,采取急用先行。

 

了解近期以及中長期在業務和技術上的策略及目標,特別是與數據治理相關的信息;通過訪談、調研等方式,在內部營造數據治理的氛圍、人相關人員在數據治理目標及價值方面達成普遍共識。

 

根據現實存在的差距與計劃,制定符合自身的數據規劃。

 

2、書同文、車同軌:定標準

 

金融企業的數據標準一般以業界標準為基礎,如國家標準、監管機構(如國家統計局、中國人民銀行、工信部)制定的標準,結合本身實際情況對數據進行規范化,一般會包括分類、格式、編碼規則、字典值等內容。良好的數據標準體系有助于金融企業數據的共享、交互和應用,可以減少不同系統間數據轉換的工作。數據標準的制定,要適應業務和技術的發展要求,優先解決普遍的、急需的問題。數據標準由業務、技術、權限等內容構成:

 

業務:明確所屬的業務主題以及業務概念,包括業務使用上的規則以及標準的相關來源等。對于代碼類標準,還會進一步明確編碼規則以及相關的代碼內容,以達到定義統一、口徑統一、名稱統一、參照統一以及來源統一的目的,進而形成一套一致、規范、開放和共享的業務標準數據。

技術:描述數據類型、數據格式、數據長度以及來源系統等技術屬性,從而能夠對信息系統的建設和使用提供指導和約束。

權限:明確數據標準的所有者、管理人員、使用部門等內容,從而使數據標準的管理和維護工作有明確的責任主體,以保障數據標準能夠持續的進行更新和改進。

 

因此,數據標準的制定應從業務數據為出發點。經過詳細的數據調研、訪談、設計、評審等標準定義流。;數據標準的制定需以“循序漸進、不斷完善”為原則,支撐完整的數據標準創建過程,確保每一個數據標準對應企業的數據需求,做到數據標準有理有據。

 

3、保質量

 

數據中臺建設從數據中臺的認知開始

 

數據質量管理是金融企業數據治理的有機組成部分。高質量的數據是金融企業進行分析決策、業務發展規劃的重要基礎,只有建立完整的數據質量體系,才能有效提升銀行數據整體質量,從而更好的為客戶服務,提供更為精準的決策分析數據。

 

1、制度與規范

 

從技術層面上,應該完整全面的定義數據質量的評估維度,包括完整性、時效性等,按照已定義的維度,在系統建設的各個階段都應該根據標準進行數據質量檢測和規范,及時進行治理,避免事后的清洗工作。

 

2、金融企業數據質量管理流程

 

數據質量問題會發生在各個階段,因此需要明確各個階段的數據質量管理流程。例如,在需求和設計階段就需要明確數據質量的規則定義,從而指導數據結構和程序邏輯的設計;在開發和測試階段則需要對前面提到的規則進行驗證,確保相應的規則能夠生效;最后在投產后要有相應的檢查,從而將數據質量問題盡可能消滅在萌芽狀態。數據質量管理措施,宜采用控制增量、消滅存量的策略,有效控制增量、不斷消除。

 

4、數據安全

 

近年來,歐盟推出了 《通用數據保護條例》(General Data Protection Regulation,簡稱GDPR)。我國監管層面不斷完善數據治理工作,我們不得不將數據安全納入數據治理的范疇。尤其金融企業從數據獲取到數據存儲,大量涉及到客戶敏感數據,目前主要從數據獲取安全、數據存儲安全、數據傳輸安全、數據使用安全層面,通過一定的技術和規章制度來盡可能提高數據安全,比如現在的數字簽名、智能合約、物理隔離、通道隔離等技術的應用,安全性會不斷提高,但想要徹底消除安全隱患可能還需要很長的一段路要走。數據安全將是金融企業數據治理的一個重點,也是金融企業的科技從業人員將要面臨和解決的一大難題。

 

4 數據中臺之“用”,體現在數據服務

 

“用”,即使用、應用。前面我們多次提到,數據中臺讓數據使用更簡單,數據中臺為業務提供端到端的數據服務。數據服務是數據中臺資產價值變現的核心載體,是連接前臺和后臺的橋梁,數據中臺能夠以服務的形式為前臺業務提供端到端的數據支持,支撐數據應用,距離業務更近,可以讓業務更快的創新,創造更多的價值。

 

數據服務,打通企業數字應用最后一公里

 

1、常見的數據服務模式:

 

查詢服務:通過特定的條件輸入,以 API 的形式供前臺業務調用(API 包括實時和批量兩種情況)。查詢類服務應用場景非常廣泛,基本貫穿了整個經營及管理活動,是最為常見的一種數據服務類型。

 

分析服務:結合大數據技術手段,高效的對數據進行關聯分析,在金融企業中,分析類型的服務主要是決策支撐、風控、客戶洞察等應用場景。

 

推薦服務:以客戶標簽為基礎,對客戶進行畫像,根據客戶的活動軌跡、行為偏好等屬性,定向、精準推送服務產品,在金融企業精準營銷場景下使用廣泛。

 

圈人服務:在金融企業中,一般以產品、營銷活動為核心,在全量的用戶數據中,基于標簽組合圈定營銷對象,比如理財產品營銷,產品定位為青年、高凈值人群,那么可以通過圈定這兩個標簽人群,進行營銷。這本質上和推薦服務一樣,都是通過用戶標簽體系組合,構建客戶畫像,只是主體不同。

 

2、常見的數據服務類型:

 

數據大屏:數據可視化大屏是一個很重要的“面子”,它一方面能夠通過酷炫的效果讓人眼前一亮,同時也能把業務和數據的“里子”有效的傳達出來,表里如一。

 

數據報表:通常情況下,分析類數據服務為數據報表提供服務支撐。數據表報類應用主要是通過可視化形態,呈現各種數據指標,主要是通過下鉆、對比、關聯分析手段,對所關注的數據進行靈活的查看。

 

商業智能:商業智能型應用是數據應用的核心,是數據洞察以及業務創新的重要支撐,商業智能是和數據標簽結合最緊密的一種數據應用形態,從數據服務類型上看,包含了推薦服務、圈人服務,主要是通過數據畫像達到數據洞察和業務創新,金融企業使用場景廣泛,比如,風控、營銷、產品設計、生物識別等等。

 

因篇幅有限,本次對數據中臺建設做一個簡短的認知層面的介紹,詳細內容將呈現在后續的推文中,盡情期待。

 

關于作者:姚斌,數字化金融研究院研究員,長期致力于科技管理、產品設計、研發效能、質量管理等領域的實踐,擁有多年大型企業IT規劃及建設經驗,先后參與多家大型企事業單位、金融機構流程平臺、業務系統規劃及落地,對零售業務有深入的理解,擁有扎實的業務中臺落地經驗。

關于EAWorld:微服務,DevOps,數據治理,移動架構原創技術分享。長按二維碼關注!

分享到:
標簽:數據
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定