在萬物互聯的當下,數字經濟生態基本覆蓋了社會生產的方方面面,數據不再只是單純的經營活動副產品,還成為了開發新型商業模式的基礎資產和創造未來發展機遇的戰略資源。想要高效低成本地運營一個項目、部門、公司,乃至城市,數據化思維都是重要的一環。
如果一個企業尚未建立起有效的數據管理機制,將可能導致各業務系統在數據層面遭遇重重障礙、難以順利推進,更無法充分挖掘出數據內涵的價值。而其中數據標準化管理是數據管理體系中具有基礎意義的一環,它是一個涉及范圍廣、業務復雜、數據繁雜的工程。
今天小億就來為大家說說數據標準管理是什么,能為公司帶來哪些益處。
一、什么是數據標準管理?
1.定義
數據標準是指企業為保障數據的內外部使用和交換的一致性和準確性而制定的規范性約束。而數據標準管理則是一套由管理制度、管控流程、技術工具共同組成的體系,是通過這套體系的推廣,應用統一的數據定義、數據分類、記錄格式和轉換、編碼等實現數據的標準化。
2.目標
數據標準管理的目標是通過統一的數據標準制定和發布,結合制度約束、系統控制等手段,實現數據的完整性、有效性、一致性、規范性、開放性和共享性管理,為數據資產管理提供經管理依據。
▲數據治理體系架構
對于大多數企業而言,他們已有各種各樣的信息規范,如建模規范,但是這些規范只是為了約束開發工作,更多的時候強調的是數據字典表達的規范。而企業級數據標準的目標卻是使企業內部在業務和數據上達成共識,業務共識在先,數據共識在后。從一個IT管理的數據規范變成企業級的數據標準,將是非常大的轉變,這個轉變的核心是以數據標準提高業務的規范性和業務協同能力,同時約束IT系統建設。
二、為什么要做好數據標準管理?
數據標準管理是規范數據標準的制定和實施的一系列活動,是數據資產管理的核心活動之一,對于政府和企業提升數據質量、厘清數據構成、打通數據孤島、加快數據流通、釋放數據價值有著至關重要的作用。
可以說,數據標準是數據管理的基礎性工作,是數據管理建設中的首要環節,具體主要體現在以下幾個方面:
(1)數據標準為數據平臺提供統一的數據標準定義和平臺邏輯模型;
(2)數據標準是數據平臺進行數據治理的依據和根本;
(3)數據標準是衡量數據平臺數據資產運營和管理的評估依據;
(4)需要通過數據標準管理的實施,實現對數據平臺全網數據的統一運營管理。
三、建設數據標準體系必備的前提條件
1.構建數據標準管理組織
數據標準體系建設需要得到企業高層的重視和支持,更需要企業的所有部門共同參與。形成高層決策、數據標準管理部門統籌、各部門參與的數據標準管理的長效機制。其中高層是數據標準化工作的最高決策機構,數據標準化工作小組負責組織推動企業數據標準化工作。
2.制定數據標準管理制度
制定相關數據標準管理辦法、細則等,從制度層面明確了標準化中相關方的職責,建立了數據標準制定與分布、落地執行流程、變更與復審機制,使數據標準在機制上得到保障。
四、數據標準規范包含哪些項目?
數據標準由業務標準、技術標準和管理標準組成。例如:數據項的業務定義、業務規則、質量規則為該數據的業務標準;數據項的名稱、編碼、類型、長度等為該數據的技術標準;數據的管理流程、管理部門、管理人員為該數據的管理標準。
1.業務標準規范
通過對實體數據的標準化定義,解決了數據不一致、不完整、不準確等問題,通知數據的內容范圍需要核定,主要和業務強關聯,由基礎指標和計算指標標準組成,具有特定的業務含義。
2.技術標準規范
數據范圍規范工作完成之后,需要對數據的編碼規則、命名規則進行規范,主要包括數據源、數據項、邏輯模型標準、物理模型標準、元數據、公共碼值標準等;
3.管理標準規范
數據標準管理是一個涉及范圍廣、業務復雜、數據繁雜的工程。數據標準管理絕非是一個部門的事情,不能在企業的單一部門得到解決。數據管理制度章程是確保對標準數據管理進行有效實施的認責制度。建立標準數據管理制度和流程體系是需要明確標準數據的歸口部門和崗位,明確各崗位職責,明確每個標準數據的申請、審批、變更、共享的流程。需要從整個組織考慮,建立專業的數據管理組織體系,明確數據標準工作的目標和內容,并監督及考核數據標準的貫徹與執行。
五、如何做好數據標準管理?
1.包含哪些內容?
在數據管理部門進行針對各種數據項的標準化過程中,結合實際工作情況,一般可以將標準規范分為兩類,一種是基礎數據標準,一種是指標數據標準,以兩類細分規范來進行更進一步的管理,為后續的各種數據管理工作提供便利。
(1)基礎類數據標準
基礎類數據標準通過各種業務處理產生或各類渠道采集的基礎性數據,在范圍內必須是唯一定義的,如“統一社會信用代碼”、“歸屬地市”等。基礎類數據標準分為行業參考模型實體標準和公共代碼標準。
(2)指標類數據標準
指標類數據標準是數據基礎上按照一定業務規則加工匯總的數據,如宏觀經濟指標數據。指標類數據又可分為基礎指標和計算指標。基礎指標一般不含維度信息,且具有特定業務和經濟含義。計算指標通常由兩個以上基礎指標計算出。
基礎數據標準和指標數標準根據各自業務主題進行細分,應盡可能涵蓋企業的主要業務,并且覆蓋企業生產系統中產生的所有業務數據。以銀行為例,如圖所示:
2.數據標準的梳理
眾所周知,建設一個業務系統實際上是將企業或者行業的運作機制IT化和系統化的過程,需要從梳理業務流程和管理流程開始。類似的,建設數據標準就是將數據的表達和使用,統一和系統化的過程。而在這個過程中,首先就要梳理數據產生和應用的全部范圍。對企業來說,這意味著數據標準的建立需要從盤點企業內部全部生產系統中的數據開始。
數據標準涉及到的實體對象存在很多,為了方便建設和記憶,往往采用的是頂層設計的梳理方法:
(1)首先構建數據標準的主題域,厘清數據主題域之間的邏輯關系;
(2)再逐級分解,定義各個主題域下的重要實體和實體間關系;
(3)最后定義每個實體中的標準信息項,包括業務含義、質量規則、安全級別、值域范圍、代碼集等內容。
數據標準的建設并不難掌握,關鍵是建設過程中需要收集并整理大量的業務規范、制定章程、法律法規、監管規定、國家標準,并將這些規定具象到數據標準定義的信息項中。對于一個從未做過數據標準的實施團隊而言,這將意味著巨大的工作量。
六、數據標準建設中的注意事項
(1)數據標準統一規劃。以數據資產管理需求為導向,結合數據標準規范指導內容,構建適應數據平臺的數據標準體系,并制定數據標準實施方案。
(2)建立數據標準掛歷的支撐體系。要求包括數據標準管理組織架構、數據標準管理辦法和制度流程,以及數據標準管理支撐工具。
(3)注意數據平臺中數據業務口徑和技術口徑有效協同統一問題
(4)要滿足數據平臺的平臺化、產品化和數據資產運營的需求。
(5)需支持數據平臺的數據接口標準化定義
(6)滿足原有數據可逐步進行數據標準規范的遷移和統一。
七、數據標準建設方案
億信華辰旗下的EsDataStandard數據標準管理平臺,可以有效的幫助企業建立規范的數據應用標準,消除數據的不一致性,從根本上改善和解決系統的數據質量問題,實現數據有效共享,并通過智能化的管理方法,讓企業輕松享受大數據帶來的便利和效益。
1.內置標準一鍵應用
平臺內置一批國標、行標,可一鍵應用大大提高項目交付效率。另外平臺內置標準的技術、業務、管理、質量屬性,結合靈活的定義方式,從手工創建、導入、拾取、智能識別等,可幫助客戶快速構建基礎標準、指標標準、代碼標準。
2.智能追蹤標準歷史
平臺支持標準增、刪、改、查、發布、審核等各種基礎操作,其變更過程能被自動記錄,通過變更版本控制,追蹤標準歷史。另外平臺還提供了靈活細致的用戶權限管理機制,滿足不同用戶管理各自的標準的場景。
3.可視化的界面一目了然
實現數據從創建到消亡全生命周期的可視化,數據標準的建立也是完全可視的,并且實現全角色的可視化,不管是執行層還是決策層都可對數據標準的完善起到關鍵作用。
EsDataStandard數據標準管理平臺包括:標準分類管理、標準增刪改查、標準導入導出、標準評審、標準發布、標準版本管理、標準落地映射、標準落地評估、標準監控等功能。同時為更好的保障數據標準的落地,最好結合元數據管理工具一起使用。
如果你已經非常明確自家數據體系存在數據病癥,急缺一個可以妙手回春的良醫的話,EsDataStandard數據標準管理平臺一定是一個非常明智的選擇。