大數據時代
大數據又稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理并整理成為幫助企業經營決策更積極目的的資訊。從某種程度上說，大數據是數據分析的前沿技術。簡言之，從各種類型的數據中，快速獲得有價值信息的能力，就是大數據技術。
IDC報告顯示，2025年全球數據存儲量將達到163ZB(相當于16萬多億GB)，到2030年將達到2500ZB。在過去幾年，全球的數據量以每年40%以上的速度增長，在未來這個速度會更快。
浪擎DataOne數據融合系統的機遇
數據融合是解決跨平臺應用、協作、共享的有效手段，如果缺少統籌規劃，注重單次數據交互的結果，會忽略數據融合平臺的兼容性和拓展性，出現以下問題：
急用先行：煙囪式建設思路，互相之間不連通，資源無法根據業務的變化實現動態調整，利用率很低；
無法復制：平臺、腳本無法復用，多條數據鏈路錯綜復雜；
難以擴展：資源難以整合，不同的項目需要重復建設，實施過程長，難以長期拓展。市面上的傳統工具ETL有許多的不足之處，無法支撐大數據時代背景下的數據融合，存在許多問題需要解決：
持續投入高：開發、維護、拓展、升級各個環節均需要人員和資金的持續投入；
經驗難以持續：單機架構的開發經驗無法延續到分布式架構，缺少對大數據量的支持能力；
開發維護量大：從平臺開發到日常的管理運營，依然存在大量的腳本開發工作；
風險因素多：人員變更、數據源變化、數據量增長均會帶來一定的風險；
適用性不高：對個人技術能力依賴性強，高可用性不佳，缺少時間和經驗的驗證；
實時性差：不具備實時性，難以進行相關改造。
這些問題不僅造成了用戶在使用方面的困擾，也使得企業無法很好統籌自己的業務數據。在大數據時代下，數據成為了各個企業最為寶貴的財富，如何把數據完整、高效的進行匯聚融合成為了DataOne需要攻克的難題。DataOne采用分布式和并行架構，實現所有數據的融合和共享交換，靈活地連接所有數據源，實現真正的隨心所變。
浪擎DataOne數據融合系統三大功能：
數據匯聚：
將不同來源、不同特性的數據在邏輯上和物理上有機地集中，從而為企業應用系統提供全面的數據共享。通過浪擎DataOne數據融合系統解決企業數據一致性和數據可靠傳輸問題，打破企業信息孤島，建立企業數據中心，最終實現數據的共享發布應用。
數據遷移：
數據遷移工具主要是為了幫助企業解決在進行數據“搬家”時遇到的問題，浪擎DataOne數據融合系統支持多源異構數據兼容，支持多種數據源，在遷移過程中無需停機。性能方面采用分布式架構，進行多線程處理；并且擁有完善的數據管理、清理、校驗功能，全流程可視化管理。
數據脫敏：
數據脫敏主要應用于涉密數據，如黨政機關、金融醫療體系等，浪擎DataOne數據融合系統能夠對涉密數據進行個性化脫敏腳本編寫，對敏感數據進行多維度的脫敏操作，如關鍵詞替代、隱藏敏感詞匯、數字置換等。并且對脫敏全流程進行加密處理，確保源數據的安全保密。
浪擎DataOne數據融合系統應用場景：
1、主流數據庫同構數據遷移:
DataOne產品支持對Oracle、SQL Server、MySQL等主流數據庫的同構數據遷移，可以針對相同數據庫進行不同版本以及不同庫之間的數據遷移，可以將多個數據源分散的數據庫數據進行匯聚整合，進行相關業務匯總以及數據分析。
2、信創環境異構數據遷移:
產品更多的應用場景是針對非國產數據庫Oracle、SQL Server、MySQL向國產數據庫達夢、人大金倉的數據同步。信創數據部署在不同的信創CPU、不同的信創操作系統中，因此存在環境上的多重異構。針對信創的復雜遷移場景，DataOne產品進行了對應的產品適配工作，能夠保障將數據遷移到任何搭配起來的不同信創環境中。針對非國產數據庫與國產數據庫之間的數據字段的差異，設置了字段的自動匹配規則mapping，能夠保障同步到國產數據庫中的數據正?？墒褂?。
3、非結構化數據遷移:
DataOne支持針對源業務數據庫對應文件系統的遷移，保障數據遷移完成后，整體業務便捷可用，解決了傳統只遷移完成數據庫數據，對應文件無法及時遷移所面臨的業務不可用的情況。支持非結構化文件源的文件遷移任務。
4、數據匯聚入湖
針對大型企業、大數據中心存儲各種各樣原始數據的大型倉庫，其中的數據可供存儲、處理、分析及傳輸。利用DataOne產品統一接入各類數據資源、融合數據孤島，基于Kafka Connect的技術特點，能夠非常便捷的對數據源進行管理，將多源分散的業務數據統一進行匯聚入湖。適配安全網絡隔離架構，自動完成跨網的數據采集、中轉與處理。將數據匯聚集中管理以及分析采集使用，數據湖結合數據分析和機器學習算法，幫助企業構建優化后的運營模型、預測分析等。
5、數據的清洗與治理
除了滿足針對同構、異構場景的數據遷移任務外，DataOne產品能夠針對大數據進行清洗治理。根據業務需求，在執行數據任務過程中進行相應數據處理設置，幫助用戶零開發完成自定義表名、字段名稱，過濾、替換數據等數據清洗功能。同時提供高級清洗選型，提供清洗腳本模板，供用戶根據自身需求自定義設置清洗規則，完成對源數據的處理，將數據處理完成后可以進行對應業務的分析處理。
6、數據集成上云：
將不同業務環境上的結構化、非結構化數據匯聚、集成、整理至DataOne數據交換平臺。DataOne批量采集數據后實時同步、批量加載數據， 統一存儲上云至大數據中心。大數據中心為業務系統提供數據支撐。
浪擎DataOne數據融合系統的價值：
浪擎DataOne數據融合系統是數據遷移、集成、融合與共享管理平臺。在信息化建設過程中，由于業務系統逐年分批建設，致使存在諸多煙囪形態與數據孤島，不同業務之間不連通，數據無法整合利用。同時在數據時代，經營或決策都要求數據能被快速共享與整合，從而為決策提供數據支撐。DataOne為解決數據孤島問題，構建數據中臺與共享發布服務，提供多源異構數據的遷移、匯聚與融合技術實現方案，從而實現數據的流動，釋放數據的價值。
