隨著業務系統的日趨復雜化,日志顯現出數量龐大、無固定模式、不易讀懂等特點。日志數據是運維監控中主要的數據源,記錄了從業務、中間件、系統等全鏈路信息,可以有效監控IT系統各個層面,從而快速診斷系統故障,洞察系統運行狀況,對于開發、運維、測試和審計等各個環節工作都有非常重要的作用。
日志數據,企業數據資產的一座金礦
日志數據是系統所指定對象的某些操作和其操作結果按時間有序的集合,每個日志文件由日志記錄組成,每條日志記錄描述了一次單獨的系統事件。大量信息隱藏在海量日志中,面對持續增長的數據,如何快速解讀、實時檢測和深度挖掘日志的價值,面臨著巨大的挑戰。因此規范、充分、信息明確的日志數據是IT故障診斷的重要依據,可以幫助運維人員快速定位、發現和處理IT相關的業務問題。
日志數據可謂企業數據資產的一座金礦,深入挖掘日志價值已經成為當前日志研究的主要方向:利用日志進行業務流程的挖掘、基于日志進行根因分析、利用日志作出故障預警、掌握系統運行性能、輔助軟件測試等,這也大大提高了對日志的洞察要求。
傳統運維依靠人力從日志中排查故障原因,主要通過grep、sed等指令利用關鍵詞(error, fail, exception等)進行搜索,或利用基于規則的日志提取方法,通過傳統方式手動設置來解析日志,對代碼要求高、操作繁瑣、排障時間長。
因此,利用機器學習等人工智能技術和大數據技術構建一體化的日志分析平臺,對離散日志數據進行統一采集、處理、檢索、可視化分析,是解決當前日志分析難題的重要手段。智能日志分析平臺減少了人工篩查時間,幫助運維人員更快的定位故障,判斷失敗類型,有效地提高故障診斷和恢復效率。
洞察日志之美,云智慧全面升級智能日志分析平臺
云智慧匠心研發的新一代智能化日志管理與分析平臺DOLA(即Digital Operation Log Analytics),基于大數據技術與智能算法,實現海量離散日志的統一采集管理、多類型日志解析、SPL/SQL雙語言檢索、日志智能告警、業務全鏈路分析、分級存儲和豐富的可視化分析。可廣泛應用于統一日志管理、運維監控與分析、調用鏈追蹤、安全審計與合規,以及各種業務分析等數字化運維和運營場景。
基于聚類的智能化日志模式識別
業務全鏈路追蹤
全新升級的云智慧智能化日志分析平臺包括以下功能:
? 基于聚類的日志模式識別:通過聚類算法,進行相似日志文本的數據聚合,可通過聚類靈敏度調節日志模式發現的粒度,幫助運維人員快速定位和發現異常日志;
? 日志全文搜索:提供強大的日志搜索能力,支持SPL/SQL雙語法混合搜索,支持字段值過濾、劃詞分析等快速搜索方式,同時支持搜索結果高亮顯示,日志上下文詳情查看;
? 日志智能告警:基于算法的智能日志異常指標監控,提供多指標異常告警、模式增量告警,提供全流程的事件管理服務;
? 業務全鏈路追蹤:面向業務的全局拓撲展示、服務分析、全鏈路追蹤,幫助運維人員快速分析系統性能消耗原因、準確定位異常;
? 日志可視化分析:基于搜索結果的多維度日志可視化分析呈現,提供折線圖、柱狀圖、餅狀圖、雷達圖、散點圖、線性回歸等常用可視化模板;
? 儀表報表管理:快速便捷的動態儀表報表管理模塊,能夠自定義儀表盤的快速配置,同時支持業務關鍵數據的實時呈現;
? 可視化數據處理流程:可視化數據處理Pipeline,支持通過拖拽方式進行數據處理組件的自由組合應用,自主創建數據處理流程。
依托云智慧自研的CDC數據采集器和DODB專業運維數據庫產品,DOLA平臺擁有靈活的數據采集能力和強大的數據處理能力:
√ 支持自有高性能采集器,兼容主流開源數據采集器、靈活水平擴展的數據接入接口;
√ 快速接入流式數據,超高的吞吐量和極小的響應時間,數據接入即可秒級查詢;
√ 支持根據數據量進行水平伸縮,數據處理能力:30T/天,eps:130萬/秒;
√ 支持多個節點同時寫入,單節點寫入速度:60萬/s,在同等條件下是Elasticsearch 的10倍以上。
云智慧智能化日志分析平臺具有對業務系統無侵入性、通用性、智能化、實時可視化分析等特點,目前已廣泛應用于銀行、保險、證券、航空、交通、政企等行業。如果您想進一步了解此產品,請訪問云智慧官網:https://www.cloudwise.com/dola.html,或撥打官方客服電話:4006661332,索取詳細資料。