作者:京東科技 尚建平
1. 現有技術
在電商、金融風控領域,使用圖來建模,將大量的人員和事件編織成一張龐大的圖關系網絡,構建圖指標來識別異常人員和群體風險行為,目前圖指標現有實現方式是基于離線數據或t+1數據構建圖關系網絡,圖指標由業務人員或需求人員根據業務需要提出具體需求由開發人員臨時開發、測試、部署、上線。
2. 現有技術的缺點
第一,圖指標時效性差,無法實時更新圖關系數據,在某些時效性強的場景下圖指標不可用。
第二,創建、修改圖指標流程繁瑣,業務及需求人員無法單獨實現,需開發人員臨時開發。
第三,圖指標相關元數據沒有統一管理及分類,無法查看、修改、復用、追溯。
3. 本發明技術方案
3.1 本發明所要解決的技術問題(即發明目的)
第一,接收實時大數據流,實時構建圖關系網絡,圖指標可基于實時圖關系數據查詢。
第二,業務及需求人員對圖指標可視化創建、測試、上線,無需開發人員參與。
第三,圖指標相關元數據進行統一管理及分類,可靈活查看、修改、復用、追溯。
3.2 本發明的完整技術方案
3.2.1 系統原理圖、結構說明圖或流程圖
圖1-系統原理圖
3.2.2 技術方案詳細描述
如圖2-系統流程圖所示,方案詳細描述如下:
步驟1:實時圖指標平臺獲取用戶設計圖指標相關的元數據信息,包括數據源、圖模型、圖指標等元數據。數據源信息描述了接入數據源類型和數據源字段信息,圖模型信息描述圖關系網絡的構建模型及構建數據的字段映射信息,圖指標信息描述圖指標計算邏輯信息。
步驟2:實時圖指標平臺根據數據源信息接收外部實時流數據。數據源主要是可構建圖關系網絡的人員及事件信息,包括用戶登入、注冊、訂單交易、風險決策等數據源。
步驟3:實時圖指標平臺將接收的實時流數據進行清洗、轉換、分流。將接收的數據源中無效的數據及非法數據清除,并根據不同圖模型數據要求對數據進行轉換、分流。
步驟4:實時圖指標平臺根據圖模型信息及數據字段映射信息,將實時數據流轉換生成可插入圖關系數據的類SQL。將人員及事件信息轉換成用類SQL表示的用戶、設備等節點及用戶與設備節點之間關聯的登入、注冊等邊數據。
步驟5:實時圖指標平臺通過對nebula圖數據庫各圖空間執行類SQL將圖關系數據插入更新至nebula圖數據庫。通過實時插入更新類SQL表示的節點及關聯邊數據,將大量的人員和事件編織成一張龐大的圖關系網絡,并實時更新。
步驟6:實時圖指標平臺接收外部系統查詢圖指標結果請求及入參,查詢用戶可視化配置的圖指標相關元數據信息。如查詢用戶x近30天內使用過的所有設備關聯的注冊金白條用戶數量。
步驟7:實時圖指標平臺將可視化配置的圖指標元數據信息轉換成用類SQL表示的圖指標計算邏輯。如從用戶x節點查找近30天登入、注冊等邊關聯出的所有設備,再反向查找這些設備被多少注冊過金白條的用戶使用過。
步驟8:實時圖指標平臺通過對nebula圖數據庫執行查詢類SQL,獲取圖指標查詢結果,根據業務情況調整圖指標閾值,識別異常人員和群體風險行為。如用戶x近30天內使用過的所有設備關聯的注冊金白條用戶數量大于5時,那么識別出用戶x是風險用戶。
圖2-系統流程圖
3.3 本發明希望保護的技術創新點
本發明通過接收實時大數據流,實時構建圖關系網絡,實現圖指標數據實時查詢。
本發明通過可視化配置維護圖指標相關信息,實現圖指標及相關元數據統一管理、快速部署上線。