11月18日-19日，由高效運維社區（GreatOPS）和開放運維聯盟（OOPSA）、RPA時代社區聯合主辦的2021 GOPS全球運維大會在上海正式召開。GOPS主要面向運維行業的中高端技術人員，目的在于幫助運維人員系統學習了解相關知識體系，讓創新技術推動社會進步。
七牛云受邀出席了本次大會，七牛云運維架構師敖文武就AIOps在七牛云的探索和實踐等話題，同與會嘉賓進行了分享。敖文武從AI和運維OPS關系，AIOps七牛內部探索和實踐，我們的思考與總結等方面進行分享。敖文武指出，運維在故障處理流程中的各個環節，如問題發現、檢測、分析、根因定位和響應處理等，其中問題的根因定位分析所占時間長達60%，嚴重依賴運維專家的知識和經驗。依托七牛云「PISA」產品，梳理數據建模分析，構建出關鍵業務調用鏈路。并通過動態閾值計算，預測未來服務分數等算法能力。實現快速根因定位，有效縮短MTTR40%，并逐步在運維內部落地。
從運維角度，為什么需要AIOps?
整個故障處理過程中，問題定位所需要的時間占比達到60%。實踐中，MTTK（Mean Timeto Know）環節嚴重依賴運維專家的知識和經驗，且難以口口相傳。所以，我們需要有一種方法將專家知識和經驗沉淀下來，幫助我們更加高效的定位和決策。
七牛云內部的探索和實踐
內部在AIOPS上針對如何快速定位問題上做了一些探索和落地實踐：系統可觀測性依托“PISA”智能服務分析，構建系統可觀測性。SRE專家經驗知識沉淀，加速問題定位。業務健康評分多維度KPI指標占比評分計算，主動綜合預測業務健康和趨勢預測。告警智能降噪針對不同告警規則做指標數據分類，降低告警風暴，提升告警準確度。動態閾值靜態指標弊端很多，無法適應流量峰值周期，集群規模一直在變化。靜態的閾值要么是設置過低、要么是過高。所以我們采用時序檢測算法、訓練指標歷史數據，有效識別周期性異常波動。
可觀測性核心要素：1、Metrics指標性統計。度量應用某一類信息的正確率、成功率、流量等，這是我們常見的應用單個統計聚合。2、Tracing分布式追蹤。一次請求的范圍，服務于服務，服務于組件之間的依賴追蹤。3、Logging日志記錄。程序在執行的過程中間發生了一些日志，會包含報錯信息、堆棧信息等詳細日志內容。
基于七牛云Pandora平臺，構建智能運維分析工具「PISA」。「PISA」針對企業在數字信息化過程中，面臨業務系統與IT系統割裂的難題，IT人員分析問題難，解決問題耗時長，各類監控軟件數量繁多但無法協同等問題現狀，有效連接企業的業務系統和IT系統，通過提升整體的可觀測性、實時洞察隱患、快速根因定位、提前預知故障等手段，幫助企業提高系統穩定和減少損失。將傳統的被動式運維變成主動式運營，讓數據產生更高價值。除此之外，平臺機器學習工具包，上面集成了大量的算法、能夠管理模型和快速驗證。工程師直接去做算法多少有一些門檻，但可以參與模型的訓練。通過不同條件組合，參數調整，特征優化以追求更好的效果表達。
關于我們自己的思考和總結
第一，數據維度越全面越好。
第二，所有數據標準化越規范統一越好。
第三，場景（知識）越深入越好。
本身對運維場景理解不是特別深，不理解場景當成產品功能去做的話，恐怕只能做出一個完整的產品功能來，大概率無法直接落地，因為線上環境復雜多元，這些情況非常依賴運維專家本事的經驗。AIOPS能夠落地，一定是在SRE或DevOps最佳實踐中升華而來。
簡單來說，如何借助AI能力與運維場景進行深度結合，并“落地”實踐，是我們對AIOps的思考和理解。
文章來源：七牛云微信公眾號
