近日,中國民生銀行(以下簡稱:民生銀行)和DataPipeline數見科技共同宣布,DataPipeline協助民生銀行搭建的企業級實時數據同步管道平臺正式上線。該平臺的上線標志著民生銀行大數據平臺體系規劃的落實又向前邁出了堅實的一步,也標志著民生銀行大數據建設的第三階段——全面推動在線實時數據計算及分析階段的基本完成。“隨著批量數據體系的成熟,業務場景對實時數據的需求迅速涌現,我行啟動了全面的實時數據體系建設,對實時風控和實時事件驅動的營銷和運營形成了全面的支撐。”——民生銀行總行科技大數據管理團隊談到。
誕生于 1996 年的中國民生銀行,已經在 24 年的歷程中實現了規模與效益的迅猛發展。民生銀行實現高速增長,這與由上至下堅持數字化轉型策略密不可分。
對于銀行業而言,同質競爭非常嚴重,業務類型、監管標準、客戶群體都高度重疊,業務創新成為各家銀行突破困境的關鍵。在構建以“客戶為中心”的全鏈條服務流程中,客戶個性化金融需求與金融產品服務的實時匹配、零售信貸風控、網金數字化運營等新型應用場景離不開實時數據的支撐。實現數據賦能業務創新,確保能夠做出及時、準確的業務決策至關重要。而以上能力就要求IT系統能夠打通數據到業務應用的實時鏈路,快速反饋數據,滿足業務端取數的時效性和豐富性。為實現多套業務系統產生的海量數據融合目標,高效支持智能營銷、智能決策、智能服務、智能風控等業務部門取數需求,民生銀行需要融合IBM DB2、MySQL、Kafka、Redis、GaussDB、SequoiaDB、HDFS在內的多種數據基礎組件,實現對主要交易系統每日產生的數億條數據的整合。
民生銀行總行科技大數據管理團隊表示:“數據是銀行最為重要的資產之一,是支持精細化管理、實現差異化服務、加強業務創新、提升風險分析能力的基礎。工欲善其事,必先利其器。為加快支撐業務數字化轉型,民生銀行在原有數據體系的基礎上,以業務目標為驅動,以數據應用效能為優先考慮因素,打造好用、易用的數據中臺;以實時、智能分析能力為基礎,通過數據與模型驅動金融產品服務創新,為業務提供立體化的快速支持,直面客戶,賦能場景。DataPipeline企業級實時數據同步管道平臺在民生銀行的成功上線,主要是在異構數據實時同步的準確性、系統的穩定性、易用性、安全性等方面很好地滿足了我們的需求,實現了民生銀行企業級實時數據的采集、融合與同步,為民生銀行中臺戰略奠定了堅實的基礎。同時,該平臺降低了民生銀行手工開發成本,加快了實時數據價值的釋放。未來雙方將在更多數據管理場景進行探索,推動更多實時應用落地。”
隨著DataPipeline企業級實時數據同步管道平臺的上線,民生銀行存儲在多種數據庫中的異構數據被打通,海量的數據被匯聚、分發。數百個實時數據任務將客戶行為等實時數據進行標準化補全并分發到各個應用系統,將業務系統的實時賬戶變動與指標變化傳輸到業務管理系統進行實時頭寸計算。在處理實時數據的同時,民生銀行利用DataPipeline對國產化自主平臺及數據庫的支持,打通了主數據系統和數據倉庫系統到以SequoiaDB為基礎的歷史數據系統和以GaussDB為基礎的分析系統的數據鏈路。
DataPipeline助力民生銀行搭建實時數據同步管道平臺架構
DataPipeline企業級實時數據融合產品通過多種實時數據技術,支持廣泛的數據節點類型,協助民生銀行構建以業務目標為導向的數據鏈路,按需快速定制、部署、執行數據任務,以支持從傳統數據處理到實時數據應用的各類場景。
支持主流關系型數據庫、大數據平臺及國產數據庫。DataPipeline實時數據融合產品支持數十種主流數據庫作為數據節點,打破企業域內各類異構數據技術構成的樊籬,讓數據隨需可得。產品采用基于日志的增量數據獲取技術,為主數據管理、數據倉庫、大數據平臺提供實時、準確的數據變化,從而使得客戶可以根據最新數據進行運營管理與決策制定。
使用分層管理、按需服務的配置型平臺來提升IT敏捷開發效率,輕松實現零代碼交付。DataPipeline實時數據融合產品采用B/S架構,全頁面化配置,數據融合任務的研發交付時間低至5分鐘。一方面保證數據節點的安全性、穩定性、業務連續性,一方面為數據應用提供更多的自主性,使用戶可以將數據獲取的范圍、數據任務的生命周期、系統資源投入的多寡等權限更多地交給實際使用數據的業務部門及應用開發人,從而在業務需求變化時從容應對,加速達成數字化轉型目標。
使用專業化商業套件來降低基礎平臺研發成本。DataPipeline實時數據融合產品作為專業化商業套件,通過多年在各個行業的數據融合領域經驗積累,將各類專業數據融合技術以專業化產品的方式按照數據節點、數據鏈路、融合任務、系統資源四個邏輯概念,基本配置、限制配置、策略配置三個層次提供給用戶進行配置式構建,大大降低了企業搭建基礎平臺的研發成本與運維成本,讓客戶能夠將時間精力與優質資源投入到數據價值釋放與商業價值實現上去。
通過高容錯的分布式系統和卓越的性能來降低風險。DataPipeline實時數據融合產品所有組件均支持高可用,融合引擎基于容器化分布式集群部署,支持動態擴縮容;在節點管理、鏈路管理、任務管理中均有各個層次穩定性相關策略配置;針對數據采集、消息隊列及數據加載的各個組件都進行了一系列專門的性能優化,完全滿足客戶從數據遷移、數據交換到實時數據服務、實時數據分析的各類時間窗口要求和時效性要求。
未來,隨著民生銀行數字化轉型的進一步推進,各業務領域精細化運營與智能化服務能力要求的不斷提高,其全域實時數據融合價值將愈發凸顯。DataPipeline作為專業的企業級軟件產品及服務提供商,將不斷打磨產品技術能力,通過構建全鏈路實時數據資產管理體系賦能實時應用場景創新,助力民生銀行在提升數字化金融服務水平的進程中持續釋放數據價值。
