近日，優刻得全面升級USDP智能大數據平臺，推出V3.1版本，該版本引入了數據湖架構組件及相關易用性的服務，并增強了集群、服務和主機等層面的自定義監控圖表功能；同時優化解決了 v3.0 版本中的一些已知問題，在安全性、易用性和性能方面進行了重大提升，為企業帶來了更安全、更高效的大數據生態體驗。現有 v3.0 版本的用戶平臺和集群均可平滑升級到最新版本。
安全管理能力擴展
安全性在大數據生態系統中是至關重要的。為此，優刻得在USDP v3.1 版本中加強了安全性措施，提供更全面的數據保護和管理功能。引入了 LDAP 服務可視化配置集成功能，可以大幅簡化手動管理和配置 LDAP 服務的復雜性。通過使用配置向導，用戶可以輕松地為集群內各大數據服務組件進行配置集成 LDAP 服務并生效。USDP v3.1 版本還支持了一鍵解除 LDAP 功能，使用戶可以快速、便捷地實現集群生態統一管控能力。此外，該版本還增加了對 FreeIPA 類型的 KDC 的支持，以適應將 FreeIPA 作為身份管理系統的用戶的使用場景。這些安全管理能力的擴展，為企業提供了更加靈活、可靠的安全解決方案。
數據湖架構及相關服務擴展
為了滿足日益增長的數據處理和分析需求，以及對數據分析時效性、存儲管理的要求，USDP v3.1 版本中，引入了 Hudi、Iceberg 和 Canal 等組件，進一步豐富了USDP的大數據服務生態，為用戶提供全面的數據管理解決方案。
Hudi 和 Iceberg 提供了強大的數據管理和存儲能力，支持增量數據更新、事務性寫入和元數據管理，使數據操作更高效、更可靠。這些組件可以幫助用戶構建湖倉一體的數據湖架構，實現數據的統一存儲和管理，同時提供靈活、可靠的數據操作和查詢。
而 Canal 作為一種流式數據采集工具，能夠實時捕獲數據庫的變更，并將數據發送到目標系統，實現實時的數據采集和傳輸。
通過引入這些組件，用戶可以在現有的大數據集群基礎上，構建更加完整和可靠的數據湖架構。無論是數據存儲、數據管理，還是數據采集和傳輸，都能夠滿足企業的大數據處理和分析需求。
集群資源池管理配置功能
集群資源池管理配置功能為用戶提供了便捷的管理工具，可以對 YARN 和 Impala 的集群資源池進行可視化動態配置。對于 YARN，用戶可以選擇容量調度模式，而對于 Impala，用戶可以選擇公平調度模式。通過這個工具，為用戶提供了更靈活、易優化的資源管理方式，使不同的業務獲得整個集群計算資源的合理分配，規避資源爭搶等問題，從容地應對復雜的業務需求和資源分配挑戰。
集群資源池管理配置功能的應用場景非常廣泛。例如，在一個大數據集群中，可能有不同的業務部門或應用，需要使用不同的計算資源，而資源的分配和管理可能面臨挑戰。通過集群資源池管理配置功能，用戶可以根據實際需求，為各個業務部門或應用分配合適的資源，確保資源的公平分配和有效利用。這樣一來，不同的業務可以更高效地運行，避免資源爭奪導致的性能下降或系統崩潰。同時，管理員也可以更好地監控和管理集群中資源的使用情況，及時調整資源分配策略，提高集群的整體性能和效率。總之，大數據集群資源池的管理配置功能為用戶提供了更靈活和優化的資源管理方式，幫助他們更好地應對復雜的業務需求和資源分配挑戰。
監控能力擴展
監控能力擴展功能為用戶提供了更強大和靈活的監控工具，滿足不同業務場景下的監控需求。新增的自定義監控圖表功能，使用戶可以按照業務關注點自主選擇關鍵的監控指標，并以圖表化的方式展示，實現對集群、主機和大數據服務的關鍵狀態反饋的快速捕獲。用戶可以根據自己的需求進行指標匯總、對比等處理，便捷地獲得所關注的監控數據圖表化呈現。v3.1 版本中對監控能力的擴展，提供了更靈活、個性化的監控解決方案，幫助用戶更好地管理和優化大數據平臺的運行情況和性能。
此外，該功能還支持用戶自定義業務監控的擴展。用戶可以通過擴展采集端的方式，采集平臺默認未采集的系統或服務的監控指標。借助 USDP 監控模塊，用戶可以自定義拓展監控，滿足特定業務需求。使得用戶能夠更全面地監控和評估與業務相關的指標，從而更好地把握系統的運行狀況和性能表現。
這些監控能力的擴展功能適用于各種應用場景。例如，在大規模數據處理的場景下，用戶可以自定義監控圖表，以展示關鍵指標的趨勢和變化，幫助監控任務的執行和資源利用；在復雜的服務架構中，用戶可以自定義業務監控，以追蹤特定服務的性能和可用性。
運維審計能力擴展
運維審計能力的擴展功能為管理員提供了更強大和全面的審計工具，用于監控和記錄平臺、集群和大數據服務的關鍵狀態變化。新增的記錄和展示功能，使管理員能夠快速發現已發生的異常情況，并及時介入診斷和處理這些異常事件，確保系統的穩定和安全。
新增的操作日志審計功能能夠幫助管理員追溯操作行為，通過篩選器快速檢索所需的操作日志，實現對操作行為的追溯能力。
在大數據平臺的日常運維中，管理員可以通過審計功能追蹤和記錄平臺、集群和各大數據服務的關鍵信息，如硬件資源異常檢測、服務狀態異常、集群資源緊缺、錯誤告警等，以便快速識別和解決潛在問題。操作日志審計功能可以幫助管理員跟蹤和審查管理用戶操作行為，提高安全性和合規性。
另外，在故障排除和系統故障恢復的場景中，運維審計功能可以提供有關事件發生的詳細信息，輔助管理員進行診斷和處理，縮短故障恢復時間。
