假期剛過,易鑫集團產品部經理王楊一大早就坐在電腦前,開始整理十一期間的運營數據。各條事業線、上百個產品、不同渠道,還有一些重要的測試期產品需要呈現更多細節。這個工作量,以往需要一個數據分析團隊花費一整天的時間才能完成,而在易鑫智能數據倉庫(以下簡稱“智能數倉”)的支持下,只要短短30分鐘。
“智能數倉”的作用不僅在提升數據分析的效率。作為一家專業的汽車金融交易平臺,易鑫集團累計實現的汽車金融交易量已超過200萬臺,是數十家銀行等金融機構的合作伙伴。在平臺紛繁忙碌的日常運營中,“智能數倉”的存在猶如“核心大腦”,為多業務體系穩定高效的運行提供了最強有力的科技保障。
從“散裝”數據,到自建“智能數倉”
徐飛是易鑫“智能數倉”項目的第一位員工。彼時的易鑫,還沒有一個真正意義上的“數據倉庫”,眾多業務數據被“散裝”在幾十個互不相通的業務操作系統中,只能通過手工報表導入信息。數據標準不統一,靠“手工”管理的表格極易出現錯漏,嚴重制約了業務的進一步發展。
作為國內首批從事大數據平臺建設、應用研發的專業人員,徐飛不僅參與過多家大型互聯網企業的數據中心構建,還有一段不短的創業經歷,幫助過眾多中小型互聯網公司構建獨立中心數據倉庫,這使得他在自建易鑫“智能數倉”的工作中,能給出更精準的設計和前瞻性的戰略布局。
“和互聯網公司匯集海量用戶的行為數據不同,易鑫是以業務數據為主,對數據平臺的安全性、穩定性和數據精準度、可用易用性要求更高;同時,公司多業務并行,數據橫跨多個系統、鏈條拉得很長,口徑不統一、標準不兼容,第三方商業數據庫沒法完全滿足需求;作為一家平臺化發展的企業,系統必須具備支持多項目運行的復雜運算和無限擴容的能力,以滿足隨著業務增長、未來數據處理量幾倍、甚至上百倍增長的要求。”
徐飛說:“綜合考察各種商業數據庫的方案,也參考了互聯網企業經驗,我們發現自建數倉是最‘慢’、最‘費力’,但也最‘扎實’的解決方案。”
上圖:易鑫“智能數倉”團隊在工作中
構建深入業務的“核心大腦”
同一團隊的老秦曾參與過新浪等互聯網公司的數據倉庫建設。在他眼中,易鑫自建“智能數倉”,至少要具備三方面能力:首先,有統一的輸入輸出標準,能夠支持海量多源異構數據的靈活存儲和高效計算;其次,能夠構建橫跨多個業務系統的通用數據標準,實現對跨平臺數據的有效組織和貫通;第三,具備加工數據產品和提供數據服務的能力,有支持統計、分析、挖掘等的中臺操作模塊,可以基于SLA標準對外穩定輸出。
為了解決存儲和擴容問題,團隊用互聯網公司標準,搭建了基于Hadoop框架的分布式計算存儲平臺,輔以領域內先進的Flink/Spark實時計算引擎,建立起包含100多個節點的服務器布局,讓系統可以無限擴容的同時,還具有了大批量的離線數據處理及“秒級”計算能力。然后,系統抓取易鑫近百個系統中的源數據,并進行全面“清洗”,再根據業務邏輯將數據按照“業務對象”、“業務周期”、“用戶”等不同主題模型化,進行分門別類的存儲。“就像把不同工廠生產的衣物鞋帽,按照上衣、下裝、鞋襪、配件等打上分類標簽,或者按照男人、女人、小孩等適用場景分到不同倉庫中,讓數據井然有序。”老秦解釋說。
“當中最難的,是如何將分屬不同系統中的數據,劃歸到統一的標準口徑下。”作為“智能數倉”核心數據工程師的馬維直言,來易鑫之前,自己從未如此貼近過業務:“互聯網公司的數據,都是IP、瀏覽等定義清晰的字段。但在易鑫,各個汽車金融業務之間并沒有百分百的對應關系,每當業務系統出現一個新字段,都需要重新定義。”
她舉例說,比如客戶流失率,易鑫風控審核的多級漏斗是一個自行設計的業務流程,很難從歷史數據庫中找到準確匹配的字段。系統按照自定義的內容提供了客戶流失數據,很快被業務部門發現不符合常理。經過“智能數倉”技術團隊和業務端反復比對數據源后,最終找到了原因,隨后又從源頭重新定義數據指標,這才得出了合理結果。“因為沒有歷史參照,數據指標很難一次性定義得非常準確,我們需要大量的數據做驗證。這在小型汽車金融企業是無法辦到的。”馬維說。
目前,易鑫“智能數倉”每天接收并處理來自近百個業務系統的大約1.5TB數據,并行處理超過1萬個計算任務;多種維度的數據,可以通過手機、PC端實時展示,或處理為既定指標和數據包,定期發送到各個業務端,以支持公司各個層面的業務運作,成為名副其實的“核心大腦”。
上圖:易鑫“智能數倉”團隊在討論問題
從數據平臺到數據服務中臺
福珍是易鑫資產管理部經理,需要以日為單位統計資產質量情況。之前她只能通過手工表格的方式傳遞信息,現在只需在系統中輕輕一點,“智能數倉”中的BI模塊就能按照她設定的規則,隨時展現匯總結果。這一切得益于“智能數倉”開發的數據中臺服務。
為滿足業務部門對數據的使用要求,目前“智能數倉”提供了三種形式的數據服務。通過易鑫的“通天曉”服務端,用戶可以看到上百種不同維度、不同口徑的數據,滿足各個業務部門對定制數據的要求;而在BI平臺提供的數據中臺,福珍這樣的業務人員可根據需要自定義數據規則,設計屬于自己的數據報表。此外,“智能數倉”還支持向公司十數個業務系統提供統一標準的數據接口,按照既定規則自動向業務系統派發作業任務。
“我們希望將‘技術’數倉向‘業務’數倉轉變。為此,我們正在搭建業務中臺,開發各種輔助工具讓普通業務人員經過簡單技能培訓,就能更方便地通過‘智能數倉’進行工作。”徐飛介紹,目前易鑫已開發出多項輔助支持工具,如“數詢”,可以讓使用者快速查詢獲取數據;“數語”提供所有數據的精確描述,能夠幫助業務人員追索數據源頭和流向;“數診”則能根據自定義規則對字段內容準確性進行評估、診斷、預警等。
更多使用者,意味著更大的風險存在。汽車金融行業的特性,要求系統對消費者個人信息進行嚴格的保護。為此,易鑫從2018年開始就嚴格規范系統內對消費者個人信息的使用。在業務端,所有個人信息提取都必須進過授權,進入“智能數倉”系統內的消費者敏感信息都進行了分級、加密和脫敏處理,所有對外輸出信息都用加密字段進行傳輸,最大可能地保護了數據的安全使用和消費者信息不外泄。
在徐飛心中,“智能數倉”不是一種產品而是一種服務,是易鑫在服務200多萬客戶基礎上,錘煉出的一種基于汽車金融場景的智能數據服務。它的高效、穩定運營,可精準展現各個業務的關鍵環節信息,幫助業務端更快、更高效地服務于消費者。
上圖:易鑫“智能數倉”團隊部分成員
數據賦能業務,驅動企業成長
數據賦能業務的成果正在展現。借助“智能數倉”提供的數據支持,易鑫的技術部門重新定義了風控標準,將原本“一刀切”的審核標準改為基于一定風險系數配比的綜合考量模型。經評估,客戶的履約表現明顯優于同期行業整體水平;易鑫產品部也在依托資方分析模塊的數據,和資方合作伙伴一起探討新的金融方案,比如向客戶提供更有彈性的汽車融資方案,以滿足多元化、個性化的消費者需求。
“‘智能數倉’是易鑫智能商業的基礎設施。自確定‘Tech+Fin’的發展戰略以來,易鑫一直致力于將‘數據提供的知識’應用到經營分析和管理決策中,將汽車金融業務的運營由傳統的‘人治’變為由機器和算法管理的新模式。”易鑫CTO賈志峰說:“就我們所調研和了解的范圍來看,易鑫‘智能數倉’的業務和服務能力已經能夠滿足現有汽車金融企業的各項需求,甚至具備相當程度的跨行業數據管理能力。我們也正在和行業頭部的金融機構、汽車廠商,和互聯網公司開拓新的業務模式,希望提高彼此的運營效率,達到行業共贏。”
沿著“Tech+Fin”的核心發展思路,易鑫正在積極從行業‘先行者’往‘播種者’的角色轉換,通過輸出技術能力,來提升汽車金融行業整體數據智能化管理水平,將是易鑫的下一個目標。