近日,日志易成功推出1.10.1版本,距離1.10版發布僅僅過去2個月。1.10.1版本進一步加入了對機器學習技術的應用,主要提供了智能的模式發現功能,大幅增強了對復雜結構數據的處理和分析能力,完善了對告警事件的分析處理功能。此外,該版本還添加了全新的知識庫模塊、告警插件的管理模塊,改善了統計圖表配置,儀表盤實時統計和Agent管理界面等模塊的交互體驗。
下面就讓我們跟隨本文了解1.10.1版本的新特性:
機器學習讓運維更智能
在上一版本發布時,未來展望中提到了機器學習的應用,這并不是一個噱頭,1.10.1就新增了第一個機器學習應用場景——基于聚類算法的日志模式發現。
新版本在搜索界面上,添加了一個切換標簽“模式”。根據搜索結果的數據間相似度,該功能采用聚類算法對日志進行聚類合并,形成一個個包含相似數據的數據集,方便用戶在查看種類繁多的搜索結果時,進行快捷的模式行為分析。
通過算法快速幫助使用者找到數據中隱藏的規律,這將大大節省工作量,提高分析效率。
SPL 也支持處理嵌套數組啦
如果要問日志易和其它產品有什么不同點,SPL 支持處理嵌套數組絕對算一個。對層級關系復雜的、尤其是包含多層嵌套數組的JSON或XML數據,普通的搜索引擎只支持相對笨拙的平鋪查詢。
日志易新版本SPL中添加了jpath指令和multivalue處理函數的支持。全新的jpath指令可直接獲得到指定位置的字段值,multivalue處理函數實現了對多值字段的各種常見數組操作。二者配合,即可完成對多層嵌套數組的精準過濾與統計功能。
不僅僅SPL,字段提取規則也支持處理嵌套數組了,新版本中字段提取規則統一增強了對復雜結構數據的處理能力。新版本中JSON解析和XML解析規則均添加了對jsonpath的支持,還新增了幾個解析規則,如“字段重命名”規則。這樣一來,用戶在面對嵌套數組時,不需要一再重復使用冗長的嵌套語句來提取字段,也減少了在搜索過程中字段名稱輸入的工作量。
運維也可 “ 偷懶 ” :統計圖表自動填充配置字段
在日志易的舊版本中,需在選擇好可視化圖表類型后,下一步點擊“設置”,并手動錄入配置項對應字段,才可完成圖表的繪制。而在本次發布的1.10.1中,日志易實現了自動填充部分可視化圖表配置字段的功能。用戶在遵循特定的搜索語句書寫規則前提下,無需考慮配置字段的設置,這一優化幫用戶省去了一步配置步驟,縮短了完成一個圖表配置所需的時間。
新增報警管理界面,輕松搞定報警處理與統計
新版本對告警管理和統計的頁面做了重點改進。 使用戶可以非常直觀的看到不同優先級別的告警的數量占比與處理進程。
● 在 “最新狀態”頁面中,不同等級的告警事件由不同顏色高亮出來,在排查完畢后,用戶可以選擇忽略該事件,或確認該事件并處理完成。對比較重要或有代表性的故障,還可以填寫更詳細的填寫意見。
為應對告警風暴,日志易設有一套告警合并規則,根據告警的屬性來分類并收起,保證用戶能夠直觀的瀏覽到最新告警的概況。
● 除了對最新告警處理狀態的監控和管理外,用戶還可以在“分組統計”頁面查看告警根據類型分組后,各組類內部不同等級的告警占比和同環比變化走勢。
● 面對管理人員,新版本中還提供“人員處理情況”頁面,查看告警處理人員的工作效率,根據每位人員反饋時間和工作量得出個人工作的及時率等等。
可視化的操作界面,讓運維人員輕松應對層出不窮的報警,避免遺漏。也讓運維團隊管理者通過清晰的報表,隨時把控整體工作狀態,評估運維人員工作成果。
動態實時變化的儀表盤
儀表盤在本次更新中優化了配置欄,用戶在選擇儀表盤整體或某個圖表的時間范圍時,新添了實時數據的選擇項。由此形成的儀表盤就是一個動態實時變化的界面。
Agent升級,新增Packetbeat采集和共濟動環系統Socket協議接入
新版本中Agent數據接入方案里新增了Packetbeat采集和共濟動環系統Socket協議接入。
Packetbeat的主要功能為網絡嗅探抓包和協議分析,新版本內置集成了Packetbeat,無需額外部署。
共濟動環系統是金融業廣泛采用的數據中心環境監控方案,日志易可以通過其專屬Socket協議進行數據采集和集中分析展示。
其它新特性
1. 告警插件模塊
新版本里,告警插件成為一個獨立的資源,可以通過界面上傳和刪除,也配有對應的權限管理,確保相關用戶只能修改或者查看到自己權限內的插件。
2. 入庫優先級配置模塊
對于入庫優先級實現可配置,滿足了對數據實時性要求較高且資源緊張的用戶群體的需求。
3. 新增“結構體解析”規則:
對于系統輸出日志的過程中出現的不可見字符,不可預計的空格,或是由于編碼不同導致字符長度不一等復雜的情況,新增的規則“結構體解析”使得用戶可以通過直接定義準備提取的字符編碼、字節長度、數據類型、字段名稱等結構體,來定義需要解析的數據內容。
4. 報表、定時任務、告警均新增了一個配置項“運行用戶”。在原創建者的權限發生變動時,可以通過修改運行用戶的方式,確保任務繼續正確執行。
5. 報表郵件發送可選的附件類型里添加了對docx格式的支持。
6. Agent實時狀態監控:
Agent在啟動的狀態下,只要把光標移動到對應位置上就能隨時查看該Agent進程當前的性能開銷信息,包含表格的默認刷新速度為5秒一次,保證數據實時更進,不遺漏任何變動。
1. 知識庫
為了方便給用戶提供更詳盡的設備日志描述,數據庫錯誤碼解決辦法,運維事件相關處理方案的存儲與檢索功能等等,日志易在導航菜單又添加了一大模塊---“知識”,其中內容還可以作為標準資源的一種進行導入導出。
7. 用戶禁用和登錄錯誤后的鎖定
用戶禁用和登錄頻繁失敗后鎖定的兩大功能提升了用戶信息和系統的安全性,禁用狀態會及時反饋到涉及到的資源列表,并且有相應的提醒幫助用戶做判斷
8. SPL新增map()指令,類似Python中的map()函數。方便用戶通過變量直接引用主查詢里的結果值,也就是直接將上一段搜索結果內容作為輸入,通過指定的搜索批量返回新的結果。
從這些更新可以看到,日志易1.10.1既有對新技術的應用與探索,如基于機器學習的日志模式發現,也有對行業實用功能的支持,如Agent支持金融業共濟動環系統Socket的接入,還有多處用戶交互的改進,每一項更新都圍繞著更好的服務用戶這個初衷,這也是日志易一直堅持的價值理念:產品以人為本,用戶的需求,就是日志易的努力方向。