前言
伴隨著產業升級，我國制造業也將逐步由“中國制造”轉向“中國智造”。毋庸置疑，“智能制造”將成為未來制造業發展的必然趨勢。處在中國高端制造業“走出去”的第四次浪潮中，面對世界級的競爭，全面的技術升級對制造業的意義不言自明，這其中就包含制造業對網絡前沿技術的探索，例如對AIOps技術的運用。
本次記者采訪了智維數據技術總監何仰文，請他通過一個制造業智能運維探索的實例，分享這家國際化企業是如何通過流量分析，實現故障高效處理，保障網絡平穩、暢通，支撐生產及業務高速運轉，并實現帶寬容量精細化管理，合理控制網絡費用的。
1.快速故障定位，保障網絡24小時持續平穩是國際化制造企業運行的基礎
記者：能不能介紹下案例的背景以及客戶遇到的問題？
何仰文：智維數據最早是在2020年收到來自OPPO網絡運維部的項目需求，該部門需要保障數據中心與分支機構、生產工廠間的網絡平穩運行，包含數千條鏈路以及幾個大型的數據中心，因此運維團隊日常的工作負荷較大。另外，OPPO擁有數量眾多的業務系統，但尚未建立統一的可視化管理平臺，因此運維人員對業務系統運行狀態難以清晰掌握。而故障分析依賴人工下包分析，效率較低。為解決以上問題，OPPO運維團隊開始考慮建設流量監控平臺，希望能實現鏈路管理和應用性能的可視化分析。
記者：對于OPPO來說，或者是新一代的智能制造業來說，網絡運維為什么重要？
何仰文：對于一家超大型智能制造國際企業，生產管理流程是全自動的，整個流程包含很多套復雜程序，比如制造核心Mes系統等。OPPO有數量龐大的生產線，一旦系統出錯或者參數出錯，以貼片機為例，中斷半個小時整個生產流水線的損失會達到百萬級別。
OPPO的主板生產設備貼片機
而作為IT基礎設施，網絡在其中起著連接其他各個系統及應用的作用，特別對于做全球市場的企業來說，現在受疫情影響以及國際局勢的變化，業務端敏感度是空前的，各分支機構與總部之間需要時刻保持互聯互通，一個網絡節點的故障對整體業務的影響有時可能也是很大的，因此保障網絡24小時穩定持續非常重要。
2．不止是“能用”而是“好用”提升人效的基礎是人人都用得起來的工具
記者：對于OPPO來說，之前在網絡運維方面有哪些難點？
何仰文：當業務用戶遇到系統打不開或者進度慢，第一反應都是網絡問題。使用傳統網絡監控只能知道A點到B點是通的，具體通訊質量如何，鏈路上運行的業務應用質量如何是無法感知的，指標不能量化，難以形成判斷。另外是故障定位問題，網絡問題還是應用問題，以前只能通過人工抓包來分析，效率較低。
記者：OPPO之前抓包分析的流程和問題是怎樣的？
何仰文：因為使用抓包工具很難進行統計分析，一次只能分析一個會話，確定當前這個會話是否有問題。對于多個會話的指標統計，是做不到的。另外即使單獨看每個數據包的交互，這對工程師的技術要求也很高。而網絡通訊過程中經常會出現一些網絡重傳之類，所以具體由于哪些錯誤導致的，利用抓包工具無法直觀找到問題所在。因此，無論在分析效率還是準確性層面，網絡工程師們都在考慮用新的技術工具，最后是采用了我們的產品——智維數據nCompass流量分析平臺來解決這些問題。
記者：為何OPPO選了nCompass，nCompass是如何解決以上運維問題的？
使用nCompass流量監控平臺查看應用性能情況快速定位故障所在
何仰文：可以整合多源數據快速定位問題、分析靈活，不需要復雜培訓能快速上手，可視化程度高，這可能是客戶會選擇我們的原因。
比如剛才提到應用慢的問題，就需要對一些重點應用做持續監控，之前網絡部經常遇到業務端用戶投訴應用很慢，現在遇到類似問題，可以用nCompass查看，如果是應用自身響應慢，可以很快協助應用組去定位。因為網絡和應用的中間環節太多了，所以故障快速定位對他們是非常最重要的。以前他們人工抓包，可能一天大概摸到個頭緒，現在通過nCompass，花個十多分鐘，就可以確定故障的方向。
3．用流量+可視化搞定兩大核心問題為運維團隊實現降本增效
記者：nCompass幫助OPPO運維團隊解決了哪些常見的故障，請介紹具體場景？
場景1 提效：快速故障定位，故障處置效率數十倍提升
何仰文：比如廣域網鏈路監控，當鏈路滿了，nCompass系統會發出告警，運維人員可以分析鏈路的組成是否合理，是不是存在一些大流量，流量的占用是否正常。另外出現應用故障，比如業務用戶反映應用卡或者慢，也可以通過流量指標分析到底是應用的問題還是網絡的問題，為運維人員后續排障找到明確方向。
Flow鏈路分析視圖當出現鏈路帶寬占滿，可以快速識別并告警（demo展示）
比如，前幾天我們去拜訪客戶的時候，正好有業務部門向運維團隊反饋說有一個應用從上周開始就比較慢了。此時通過nCompass看到應用側的響應時間都比較長，有的都到了五六秒，那么這種就是有問題，可能的原因是服務器響應問題，應用占用的IO，或者CPU、內存比較高。運維工程師于是反饋給應用組去查，發現確實是由于應用占用的內存高導致應用響應不過來，那么就可以快速地將這個問題解決。
對重點應用進行實時監測 呈現各細分應用的性能與流量情況（demo展示）
同樣的故障客戶之前可能要排查很多方向，因為他們不敢確定到底是網絡問題，或者交換機有問題之類的?，F在就可以第一時間把一些無關方向給排除掉。
還有就是應用之間的調用問題也會影響應用的性能。比如存在一些跨區域的異常調用，可以通過南北向流量數據去看應用跟應用之間的調用是否合理，是否存在同一個應用跨機房的調用，就像前端的IP去訪問后端的存儲，或者使用后端數據庫的時候跨機了等等這些影響應用的性能的問題。
場景2 節流：鏈路精細化管理與容量規劃
記者：還有幫OPPO梳理其他場景嗎？
何仰文：還有一個很重要的場景是廣域網鏈路的精細化管理以及容量規劃。OPPO因為其國際化業務的特性，因此對Netflow的功能很看重，因為他們全球的分支節點特別多，國際廣域網鏈路又比較貴，一條國際鏈路一年就上百萬了。當然這個鏈路還只是存儲的鏈路。為了避免這些帶寬浪費，運維人員需要知道它具體的流量構成，才能做適當的優化。
Flow鏈路-應用的流量分析視圖展示每條鏈路中各應用的流量占比（demo展示）
比如廣域網負責人發現某條鏈路滿了，通過nCompass查看發現有一條異常的流量特別大，再下鉆發現是某個應用從A城市節點往B城市節點獲取版本，而正常情況下應該是在A點本地獲取的，這種異常就會導致整條鏈路都被占滿了?，F在他們發現了這個問題，就可以讓A點停止版本的異地拉取，改成在本地操作。
再比如一些分支機構或部門表示應用升級或應用上線要做帶寬擴容，那么他們可以去實際查看這條鏈路的利用率，看它組成的數據細節，處理掉不合理的流量，那么在預算這塊就能有更好的控制，而對于真正需要擴容的需求，他們也能提供實際的數據支持。
4．深入挖掘數據價值，賦能網絡與業務多部門
記者：未來對于運維數據的精細化管理，或者數據挖掘這個方向，nCompass還可以為OPPO做些什么？
何仰文：前面我們幫客戶梳理了幾個場景，在我們最近去回訪的時候，客戶表示效果還是不錯的，不過也提出了新的需求：首先是計費。未來廣域網鏈路流量客戶希望根據這些部門的使用比例來做鏈路分配，將流量與預算結合起來做更好的費用管控。以后各個部門按使用情況會定期收到費用賬單，增強大家的成本意識。
基于Flow鏈路-區域流量分析視圖可清晰掌握Flow鏈路中各區域的流量占比情況（demo展示）
另外OPPO的出口鏈路有一個普遍的問題，就是IP互聯互認的流量占用特別大。如果用現有的方式把服務流量全部拿來分析，費用較高，未來希望通過nCompass的Flow分析模塊，合理選擇需要分析的流量，降低數據使用的成本。
還有就是希望在智能告警之外，流量分析的數據精度能更高，因為OPPO的業務，特別是對于這種IT類的應用，常常缺乏固定的模型，那么對于變化場景如何利用nCompass在智能化上的能力，實現對異常的感知和預測能力，是他們未來想探索的方向。
現在nCompass的產品線更加豐富了，以上這些需求其實都可以通過我們現有的產品組合去實現。在充分挖掘數據的基礎上，結合我們的產品，未來希望能為制造業的網絡及業務用戶都帶來明確的價值。
