本文作者：云報資深記者郭濤
導(dǎo)言
早在2013年，民生銀行就建立了“數(shù)據(jù)中心流量分析平臺”，隨著業(yè)務(wù)不斷增長，IT構(gòu)架技術(shù)變革，原有流量平臺已經(jīng)無法承載多樣化的業(yè)務(wù)流量分析需求。而隨著運維技術(shù)的新趨勢進一步向AIOps（智能化運維）演進，挖掘流量數(shù)據(jù)價值，通過流量分析平臺對各項目及業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐，需求已經(jīng)非常迫切。2019年，民生銀行上線了新一代的流量數(shù)據(jù)分析平臺，并進行了數(shù)據(jù)驅(qū)動運維的應(yīng)用場景探索，本次云報記者郭濤采訪了民生銀行總行信息科技部網(wǎng)絡(luò)管理中心的項目負責人馮晶晶和王全，請他們分享在場景驅(qū)動下的應(yīng)用創(chuàng)新經(jīng)驗。
01「 痛點：快速故障定位的困擾 」
記者：最初考慮要對網(wǎng)絡(luò)流量進行監(jiān)控和管理是出于什么樣的需求和痛點呢？
馮晶晶：網(wǎng)絡(luò)作為上層應(yīng)用的最重要的基礎(chǔ)設(shè)施，當系統(tǒng)應(yīng)用和業(yè)務(wù)應(yīng)用出現(xiàn)問題時，大部分人都會率先想到是不是網(wǎng)絡(luò)出現(xiàn)了問題。如果沒有一個好的監(jiān)控分析系統(tǒng)，就沒辦法快速定位故障根本原因并第一時間解決故障。后續(xù)隨著我們數(shù)據(jù)中心的運維工作逐漸向AIOps轉(zhuǎn)變，我們開始嘗試利用網(wǎng)絡(luò)流量數(shù)據(jù)，在實現(xiàn)有效監(jiān)控的基礎(chǔ)上，同時輸出高級應(yīng)用場景推動整個運維工作的自動化和智能化，這時流量工具就從輔助角色變成了關(guān)鍵角色，除了監(jiān)控更重要是智能分析能力。
記者：有沒有與其他銀行的網(wǎng)絡(luò)運維特點不太一樣的特征？
馮晶晶：我們希望用科技給業(yè)務(wù)賦能，助力業(yè)務(wù)的快速發(fā)展，那么具體的工作應(yīng)該如何有效開展？站在網(wǎng)絡(luò)角度，首先我們需要建立一套智能的流量數(shù)據(jù)分析系統(tǒng)，將網(wǎng)絡(luò)流量數(shù)據(jù)進行深度挖掘和系統(tǒng)性的整合，從而利用這套系統(tǒng)輸出對業(yè)務(wù)有高價值的應(yīng)用場景；其次，把智能分析系統(tǒng)以產(chǎn)品形式對外提供服務(wù)，數(shù)據(jù)價值直觀體現(xiàn)。
記者：之前的流量監(jiān)控平臺是什么樣的情況呢？
馮晶晶：早期我們在流量監(jiān)控這塊是結(jié)合國外的一套產(chǎn)品來做的，由于他們的研發(fā)人員在國外，而伴隨使用的深入，我們不斷產(chǎn)生了新的應(yīng)用場景急需落地，而對方往往反饋和響應(yīng)時間較長，難以匹配時效性要求。如美國的Riverbed廠商在2019年月突然宣布退出亞太區(qū)市場，不再提供產(chǎn)品的升級和相關(guān)服務(wù)，這更加給我們工作帶來較大的困擾，對項目的連續(xù)性也有很大的阻礙。同時，鑒于其他多方面原因，我行在2019年進行國內(nèi)廠商新產(chǎn)品的引入，目前我們是與智維數(shù)據(jù)分析平臺做了產(chǎn)品對接，結(jié)合我們運維團隊對場景和技術(shù)的理解，形成了新的可視化流量數(shù)據(jù)分析平臺以及相關(guān)應(yīng)用。
02「 新的探索：從運維實際出發(fā)構(gòu)建應(yīng)用場景 」
記者：能不能描述下有哪些創(chuàng)新的應(yīng)用場景？
王全：在數(shù)據(jù)分析這一方面，我們知道，在網(wǎng)絡(luò)架構(gòu)里負載均衡設(shè)備是眾多關(guān)鍵業(yè)務(wù)的匯集點，物理位置優(yōu)勢讓其成為絕佳的數(shù)據(jù)源，因此我們實現(xiàn)了將負載均衡業(yè)務(wù)流量和日志實時發(fā)送給流量分析平臺，并與數(shù)據(jù)中心CMDB系統(tǒng)對接，自動生成端到端視圖，實現(xiàn)了應(yīng)用層的業(yè)務(wù)數(shù)據(jù)多維度細顆粒的展示與分析。
圖1 URL優(yōu)化統(tǒng)計分析詳情（demo模擬）
之前，手機銀行頁面的URL詳情開發(fā)人員和業(yè)務(wù)人員是不容易實時獲取分析的，通過流量分析平臺與負載均衡設(shè)備實時高速日志對接之后，就可以實時對請求和響應(yīng)頁面詳情進行監(jiān)控，并定期出具報表，輸出訪問量高且占用流量較大的頁面，告知開發(fā)人員對其進一步評估和優(yōu)化頁面大小，從而降低互聯(lián)網(wǎng)帶寬。我們每年互聯(lián)網(wǎng)運營商的帶寬費用是比較高的，采用這個方案之后，可不斷地降低帶寬流量，單寬帶費一項每年就能節(jié)省很多。
再一個就是去年我們大力推進應(yīng)用系統(tǒng)和數(shù)據(jù)庫系統(tǒng)的域名化改造工作，多種類型的操作系統(tǒng)屬于首次啟用域名解析功能，系統(tǒng)產(chǎn)生了大量未知或異常的DNS請求信息，在增加了網(wǎng)絡(luò)里非必要垃圾流量的同時也給DNS系統(tǒng)帶來了較大的性能壓力。
圖2 DNS分析界面展示（demo模擬）
在建立新的流量分析平臺后，通過可視化界面實時展示DNS請求的詳情，對其請求類型智能分類和訪問量排名，可實時識別出正常或異常的DNS域名請求信息，按需輸出數(shù)據(jù)報表。將數(shù)據(jù)提供給系統(tǒng)或業(yè)務(wù)人員進行優(yōu)化。通過此項功能我們快速高效地優(yōu)化了大量DNS請求數(shù)據(jù)，從而使域名系統(tǒng)的運營效率得到了大幅提升。
記者：剛才您提到對域名系統(tǒng)運營效率的提升，那么在其他方面還有嗎？我們是如何借助應(yīng)用場景創(chuàng)新，提升整體運維效率的呢？
王全：借助新的流量分析平臺我們可獲取網(wǎng)絡(luò)的全量流量，同時通過AI算法庫、專家知識圖譜、智能巡檢等智能算法，可自動輸出智能分析結(jié)果，展示問題根因，很大程度上提升了日常運維工作效率。例如，基于采集的數(shù)據(jù)和定期巡檢任務(wù)可主動發(fā)現(xiàn)數(shù)據(jù)中心的異常流量及隱患問題，還可通過定期任務(wù)自動分析異常事件，可及時發(fā)現(xiàn)異常跨區(qū)訪問、高危端口、惡意掃描等異常事件，實現(xiàn)主動發(fā)現(xiàn)和及時解決。這些都是基于我們?nèi)粘＿\維中特別難、特別慢、特別繁瑣又急需提升效率的場景去做的，而建立這些創(chuàng)新應(yīng)用的目的就是減少對運營人員個體經(jīng)驗和技能的依賴，降低維護成本，從而提升整體運營效率和用戶滿意度。
記者：剛才說到的這些應(yīng)用場景與前臺業(yè)務(wù)是一種怎樣的關(guān)系呢？通過后臺運維技術(shù)的創(chuàng)新，能提升前臺的客戶體驗嗎？
王全：民生銀行科技部一直在不斷探索和利用人工智能、云計算、邊緣計算等前沿技術(shù)提升客戶體驗，打造有溫度的銀行，快速響應(yīng)客戶需求，提供更優(yōu)質(zhì)的服務(wù)。所有的這些服務(wù)和系統(tǒng)都運行在數(shù)據(jù)中心，而數(shù)據(jù)中心的各種設(shè)備和系統(tǒng)關(guān)系越來越復(fù)雜，那么這些都給運維帶來了新的挑戰(zhàn)，這也是我們要不斷提升運維技術(shù)與能力的源動力。
再以上面手機銀行的例子來說，客戶在手機銀行辦理業(yè)務(wù)的時候，能感知到的是使用的體驗是否順暢，效率是否高等等，這些穩(wěn)定性和效率的保障一部分也來源于我們流量分析平臺在異常檢測和故障定位兩方面的能力。通過對這些實際場景的創(chuàng)新型技術(shù)探索，比如在日志異常檢測層面去分析，定位問題根因等，再通過可視化的方式展現(xiàn)出來，就可以得到推薦的解決方案，更好的為前臺業(yè)務(wù)的穩(wěn)定性服務(wù)。
03
「 展望未來：
持續(xù)創(chuàng)新，不斷產(chǎn)出高價值的數(shù)據(jù)挖掘場景 」
記者：這次新一代網(wǎng)絡(luò)流量分析平臺的建設(shè)和創(chuàng)新，在我們民生銀行內(nèi)部有一些什么樣的反饋呢？對AIOps實踐之路未來的愿景是怎樣的？
馮晶晶：2020年我們在智能分析這塊實現(xiàn)了很多價值，流量分析監(jiān)控包括智能告警還有故障定位等等反饋都非常好；另一方面，我們也初步實現(xiàn)了業(yè)務(wù)系統(tǒng)的互訪關(guān)系視圖，包括CMDB的資產(chǎn)數(shù)據(jù)展示等，這些都是基于業(yè)務(wù)部門的迫切需求來實現(xiàn)的，我們也給業(yè)務(wù)部門、調(diào)度部門、應(yīng)用部門組織了多次培訓(xùn)，獲得了他們的積極反饋。當然這些場景還有很多優(yōu)化的空間，現(xiàn)在是基本實現(xiàn)了底層功能，但今年伴隨業(yè)務(wù)部門對應(yīng)用場景的進一步理解，在此基礎(chǔ)上會萌生進一步的數(shù)據(jù)應(yīng)用需求，比如剛才提到的資產(chǎn)管理和互訪關(guān)系的數(shù)據(jù)關(guān)聯(lián)等。我們希望未來與智維數(shù)據(jù)可以持續(xù)深入合作，把數(shù)據(jù)應(yīng)用及場景進一步豐富起來，把這個流量分析平臺完善成一個有架構(gòu)的，有統(tǒng)一前端使用界面的優(yōu)秀產(chǎn)品展現(xiàn)給業(yè)務(wù)用戶，為自動化運維、智能化運維提供更大的價值。
