數字經濟時代，非結構化數據爆發式增長，面對容量大、數量和種類繁多的非結構化數據，集中式存儲性能無法滿足應用需求，分布式存儲架構漸成主流。在存儲架構升級過程中，應用業務系統老舊、存儲系統孤立等問題成為數據入湖的阻礙。
數據入湖面臨的常見問題
以智能生產車間存儲架構升級過程為例，面臨的常見問題有：
應用改造難，架構升級受阻
智能生產車間的現有機臺系統往往使用 NAS 共享甚至本地文件方式訪問存儲系統，由于業務系統技術服務終止、架構升級代價昂貴等原因，無法直接對接對象存儲 API 接口，此時企業往往采用如下圖1所示的“臨時寫入本地磁盤+數據同步腳本”的折中方案，將文件持續上傳到對象存儲。
圖1 腳本上傳數據架構
多業務系統/終端管理復雜，效率低
由于智能生產車間內部數據管理涉及所有生產機臺，而大型智能制造企業機臺數量往往達到數千級別，單純基于上述單機腳本分別管理上千個機臺，每個機臺均需要獨立部署和配置，對于運維人員來說顯然過于復雜。
大量機臺運維成本高，業務可靠性低
數千個機臺節點需要單獨運維，業務管理員無法全面主動駕馭，只能定時逐個檢查機臺運轉是否正常，如業務出現故障無法及時處理，不僅消耗人力物力，業務可靠性也缺乏保障。
IT 系統在支撐業務快速發展的同時，企業核心生產數據的安全、可用成為關鍵。數據不斷增長使企業原有的數據存儲不可避免需要升級、擴容和更新換代。海量數據接入難及數據孤島問題，給企業數據的治理和利用帶來了極大阻礙。在此過程中，運維人員往往面臨著應用改造難、多業務系統管理復雜、運維成本高等問題。如何更高效、安全、完整地完成存儲架構升級、替換、遷移的目標，保證業務的連續性？
DataIngestor：數據入湖新通道
基于上述背景，結合客戶業務數據遷移管理需求，杉巖數據全新推出數據入湖新通道 DataIngestor。如圖2所示，DataIngestor 核心組件包括中心集中管控服務 IngestorServer 和終端管理插件 Agent 兩部分，Agent 以本地服務的形式運行在終端節點上，通過 token 認證與服務端建立安全連接；IngestorServer 基于統一的管理入口對全局的所有 Agent 進行數據傳輸任務管理，上述三個難題迎刃而解：
圖2 DataIngestor 業務架構圖
·Agent 對本地文件的全量和持續增量上傳管理，不再需要業務軟件改造或者客戶開發數據管理工具，大大降低了客戶存儲架構升級的門檻。
·可視化的任務配置，統一的監控系統，大幅降低運維工作量，提升生產效率。
·持續的機臺狀態及資源監控告警，能夠第一時間反饋產線問題，及時處理故障，提升業務可靠性。
此外，如圖3所示，DataIngestor 支持與杉巖 MOS 海量對象存儲的智能數據處理引擎聯動，基于智能數據處理引擎的靈活性和對業務流程的支持，數據匯聚的過程中可以根據用戶業務需要觸發相應的數據智能處理流程，如輸出數據統計分析、業務洞察報告及業務數據風險預警，有效提高企業數據管理效率，助力客戶商業成功。
圖3 DataIngestor 與杉巖 MOS 智能數據處理引擎聯動示意圖
一探究竟：DataIngestor 功能特性詳解
數據源端管理
如圖4所示，通過數據源端管理界面，可以動態增加需要一次性遷移或者持續數據匯聚的數據源端。
圖4 數據源端管理
數據目標端
如圖5所示，通過界面可以添加數據目標端，支持自定義名稱、配置存儲桶、服務地址及鑒權密鑰。
圖5 數據目標端管理
任務管理
如圖6所示，在任務管理界面可以選擇已經添加的數據源端和目標端，配置數據一次性遷移或持續匯聚類型任務；可選擇數據標簽感知策略，上傳文件的同時根據策略配置自動生成文件標簽。此外，支持按業務需要調整增量數據掃描間隔，以滿足不同業務壓力場景需要。
對于遷移類型的數據上傳任務，支持配置數據上傳執行時間段，可以按需避開在線業務高峰，在業務閑時啟動歷史數據遷移任務。
圖6 數據傳輸任務管理
Agent管理
如圖7所示，系統管理界面持續展示 Agent 節點的在線狀態、執行任務類型、任務狀態、Agent 本地空間利用率、CPU 使用率及內存使用率，同時支持通過 Agent 機器 IP 地址搜索過濾查看，大大提升終端節點管理效率。
圖7 Agent 終端節點管理
告警監控管理
如圖8所示，當前支持如下告警類型：
任務傳輸異常告警：不論是節點網絡異常，還是其他原因導致數據傳輸任務執行異常，Agent 進程都會及時上報告警到 server 端，方便管理員快速分析，恢復服務。
Agent 本地空間不足告警：業務壓力過大或者網絡異常導致的數據堆積，致使本地空間超過一定閾值時，Agent 會自動上報空間不足告警。
Agent 節點失聯告警：當 Agent 節點異?；蛘呔W絡不通時，server 端會主動觸發告警。
圖8 告警管理
總結
DataIngestor 提供數據源端/目標端管理，支持配置一次性遷移或持續數據匯聚任務，同時支持自定義數據傳輸動作執行時間段，可選配置數據內容感知策略自動打標簽以便業務檢索管理，省去企業業務軟件改造成本，降低數據入湖門檻，提升業務故障處理效率，大幅降低運維工作量。
同時 DataIngestor 支持與杉巖 MOS 智能數據處理引擎聯動，能夠主動觸發數據統計分析、業務洞察報告生成和風險預警，支撐企業關鍵業務決策。顯而易見，DataIngestor 是基于杉巖 MOS 的企業數據湖方案絕佳拍檔。
