在任何數據中心建設中,數據集成總是項目中的技術難點和主要成本所在,其根源在于多個系統和數據的差異性較大,以及對于數據實時性要求越來越高。數字化潮流全面興起,數據碎片化現象更加突出,滿足數據實時性要求,同時降低成本,針對用戶需求,美創數據支撐平臺迎來全新升級。
數據支撐平臺是美創科技數據治理方案中必不可少的工具支撐,平臺集數據抽取、清洗、轉化、裝載于一體,是通過對企業業務系統數據進行標準化,向數據倉庫或大數據分析平臺提供高質量數據的綜合性平臺。
美創數據支撐平臺
此次數據支撐平臺全新版本,在敏捷性、便捷性、可靠性等方面進行大幅升級,以多源異構數據支持、非入侵式增量采集技術、簡單易操作的圖形化設計界面、豐富轉化組件、以及異常處理和自恢復等能力優勢,進一步提高數據共享與交換效能,為敏捷數字化轉型奠定基礎。
產品功能
◎ 支持數據全量靜態抽取及增量實時同步;
◎ 支持各類異構數據源實時同步;
◎ 數據清洗與轉化:用戶通過對系統數據轉化組件進行拖曳及配置,即可完成相應ETL的開發工作;
◎ 支持元數據管理,包括:基于XML文件、基于數據庫的元數據管理;
◎ 內置針對不同數據問題的質檢規則模型,提供整體數據質量分析報告;
◎ 提供完整的數據治理監控大屏,整個數據治理過程可視化呈現。
產品優勢
美創數據支撐平臺產品優勢
豐富數據源支持及異構數據同步
支持各種主流關系型數據庫和大數據平臺、各種類型數據文件,滿足用戶實際環境數據源的多樣性。
數據庫:Oracle、SQL Server、DB2、MySQL、Informix、Sybase、PostgreSQL、Teradata、Greenplum...
大數據平臺:Hive、Impala、HBase、MongoDB...
文件:TXT、CSV、Excel、JSON、XML...
網絡:HTTP輸入、RSS輸入、FTP...
非入侵式增量采集技術
非入侵式增量數據采集技術,通過對于源端生產庫的日志文件進行解析,實時獲取增加數據。數據抽取的同時,保證對于源端無壓力,保證數據傳輸的實時性。
內置豐富轉化組件
內置多達200多種數據轉化組件,以滿足數據清洗、加工、統計等各種使用場景。
異常處理及自恢復
對系統核心組件實時多角度監控,一旦發生故障,自動進行諸如:網絡重連、進程重啟、系統恢復等操作,以保證系統穩定運行,降低整體系統維護工作量。
內存流式處理技術
采用內存流式處理技術,以應對源端大數據量及復雜數據轉換場景,通過流水線式的處理機制,將處理流程整體處理時間壓縮到與單個組件的處理時間上,實現數據實時同步秒級延時。
簡潔易用
圖形化抽取流程設計,內置大量可視化圖形轉換組件,用戶無需進行任何腳本語言編寫,通過拖拽方式即可實現數據集成的快速開發和部署。
適用場景 :數據歸集、數據同步、數據實時采集、異構數據源同步、數據上云、數據回流等。
應用成效
美創數據支撐平臺在實踐檢驗中交出了一張優異的成績單,穩定性、可管理性、拓展性、靈活性均得到用戶認可,成功賦能用戶數據治理工作。
在醫保局—醫療保障基金綜合監管系統建設中,美創數據支撐平臺完成對醫保參保庫、資源庫、結算庫,稽核庫、異地就醫等各類業務數據庫的歷史全量數據抽取及增量數據實時采集工作,為醫療保障數據大腦和醫療保障基金綜合分析提供穩定、精準、實時的數據保障。
部分建設成果展示
此外,在衛健委、港口、人社等行業中,數據支撐平臺依靠先進的底層架構設計,無侵入、可續傳、實時完整的數據采集能力,完成各類業務系統的數據采集以及挖掘,在時效性方面達到秒級同步,有效為各項數據業務創新提供能力支撐。