中斷是什么？

先來看看什么是中斷？在計算機中，中斷是系統用來響應硬件設備請求的一種機制，操作系統收到硬件的中斷請求，會打斷正在執行的進程，然后調用內核中的中斷處理程序來響應請求。

這樣的解釋可能過于學術了，容易云里霧里，我就舉個生活中取外賣的例子。

小林中午搬完磚，肚子餓了，點了份白切雞外賣，這次我帶閃了，沒有被某團大數據大熟。雖然平臺上會顯示配送進度，但是我也不能一直傻傻地盯著呀，時間很寶貴，當然得去干別的事情，等外賣到了配送員會通過「電話」通知我，電話響了，我就會停下手中地事情，去拿外賣。

這里的打電話，其實就是對應計算機里的中斷，沒接到電話的時候，我可以做其他的事情，只有接到了電話，也就是發生中斷，我才會停下當前的事情，去進行另一個事情，也就是拿外賣。

從這個例子，我們可以知道，中斷是一種異步的事件處理機制，可以提高系統的并發處理能力。

操作系統收到了中斷請求，會打斷其他進程的運行，所以中斷請求的響應程序，也就是中斷處理程序，要盡可能快的執行完，這樣可以減少對正常進程運行調度地影響。

而且，中斷處理程序在響應中斷時，可能還會「臨時關閉中斷」，這意味著，如果當前中斷處理程序沒有執行完之前，系統中其他的中斷請求都無法被響應，也就說中斷有可能會丟失，所以中斷處理程序要短且快。

還是回到外賣的例子，小林到了晚上又點起了外賣，這次為了犒勞自己，共點了兩份外賣，一份小龍蝦和一份奶茶，并且是由不同地配送員來配送，那么問題來了，當第一份外賣送到時，配送員給我打了長長的電話，說了一些雜七雜八的事情，比如給個好評等等，但如果這時另一位配送員也想給我打電話。

很明顯，這時第二位配送員因為我在通話中（相當于關閉了中斷響應），自然就無法打通我的電話，他可能嘗試了幾次后就走掉了（相當于丟失了一次中斷）。

什么是軟中斷？

前面我們也提到了，中斷請求的處理程序應該要短且快，這樣才能減少對正常進程運行調度地影響，而且中斷處理程序可能會暫時關閉中斷，這時如果中斷處理程序執行時間過長，可能在還未執行完中斷處理程序前，會丟失當前其他設備的中斷請求。

那 linux 系統為了解決中斷處理程序執行過長和中斷丟失的問題，將中斷過程分成了兩個階段，分別是「上半部和下半部分」。

• 上半部用來快速處理中斷，一般會暫時關閉中斷請求，主要負責處理跟硬件緊密相關或者時間敏感的事情。
• 下半部用來延遲處理上半部未完成的工作，一般以「內核線程」的方式運行。

前面的外賣例子，由于第一個配送員長時間跟我通話，則導致第二位配送員無法撥通我的電話，其實當我接到第一位配送員的電話，可以告訴配送員說我現在下樓，剩下的事情，等我們見面再說（上半部），然后就可以掛斷電話，到樓下后，在拿外賣，以及跟配送員說其他的事情（下半部）。

這樣，第一位配送員就不會占用我手機太多時間，當第二位配送員正好過來時，會有很大幾率撥通我的電話。

再舉一個計算機中的例子，常見的網卡接收網絡包的例子。

網卡收到網絡包后，會通過硬件中斷通知內核有新的數據到了，于是內核就會調用對應的中斷處理程序來響應該事件，這個事件的處理也是會分成上半部和下半部。

上部分要做到快速處理，所以只要把網卡的數據讀到內存中，然后更新一下硬件寄存器的狀態，比如把狀態更新為表示數據已經讀到內存中的狀態值。

接著，內核會觸發一個軟中斷，把一些處理比較耗時且復雜的事情，交給「軟中斷處理程序」去做，也就是中斷的下半部，其主要是需要從內存中找到網絡數據，再按照網絡協議棧，對網絡數據進行逐層解析和處理，最后把數據送給應用程序。

所以，中斷處理程序的上部分和下半部可以理解為：

• 上半部直接處理硬件請求，也就是硬中斷，主要是負責耗時短的工作，特點是快速執行；
• 下半部是由內核觸發，也就說軟中斷，主要是負責上半部未完成的工作，通常都是耗時比較長的事情，特點是延遲執行；

還有一個區別，硬中斷（上半部）是會打斷 CPU 正在執行的任務，然后立即執行中斷處理程序，而軟中斷（下半部）是以內核線程的方式執行，并且每一個 CPU 都對應一個軟中斷內核線程，名字通常為「ksoftirqd/CPU 編號」，比如 0 號 CPU 對應的軟中斷內核線程的名字是 ksoftirqd/0

不過，軟中斷不只是包括硬件設備中斷處理程序的下半部，一些內核自定義事件也屬于軟中斷，比如內核調度等、RCU 鎖（內核里常用的一種鎖）等。

系統里有哪些軟中斷？

在 Linux 系統里，我們可以通過查看 /proc/softirqs 的 內容來知曉「軟中斷」的運行情況，以及 /proc/interrupts 的 內容來知曉「硬中斷」的運行情況。

接下來，就來簡單的解析下 /proc/softirqs 文件的內容，在我服務器上查看到的文件內容如下：

你可以看到，每一個 CPU 都有自己對應的不同類型軟中斷的累計運行次數，有 3 點需要注意下。

第一點，要注意第一列的內容，它是代表著軟中斷的類型，在我的系統里，軟中斷包括了 10 個類型，分別對應不同的工作類型，比如 NET_RX 表示網絡接收中斷，NET_TX 表示網絡發送中斷、TIMER 表示定時中斷、RCU 表示 RCU 鎖中斷、SCHED 表示內核調度中斷。

第二點，要注意同一種類型的軟中斷在不同 CPU 的分布情況，正常情況下，同一種中斷在不同 CPU 上的累計次數相差不多，比如我的系統里，NET_RX 在 CPU0 、CPU1、CPU2、CPU3 上的中斷次數基本是同一個數量級，相差不多。

第三點，這些數值是系統運行以來的累計中斷次數，數值的大小沒什么參考意義，但是系統的中斷次數的變化速率才是我們要關注的，我們可以使用 watch -d cat /proc/softirqs 命令查看中斷次數的變化速率。

前面提到過，軟中斷是以內核線程的方式執行的，我們可以用 ps 命令可以查看到，下面這個就是在我的服務器上查到軟中斷內核線程的結果：

可以發現，內核線程的名字外面都有有中括號，這說明 ps 無法獲取它們的命令行參數，所以一般來說，名字在中括號里到，都可以認為是內核線程。

而且，你可以看到有 4 個 ksoftirqd 內核線程，這是因為我這臺服務器的 CPU 是 4 核心的，每個 CPU 核心都對應著一個內核線程。

如何定位軟中斷 CPU 使用率過高的問題？

要想知道當前的系統的軟中斷情況，我們可以使用 top 命令查看，下面是一臺服務器上的 top 的數據：

上圖中的黃色部分 si，就是 CPU 在軟中斷上的使用率，而且可以發現，每個 CPU 使用率都不高，兩個 CPU 的使用率雖然只有 3% 和 4% 左右，但是都是用在軟中斷上了。

另外，也可以看到 CPU 使用率最高的進程也是軟中斷 ksoftirqd，因此可以認為此時系統的開銷主要來源于軟中斷。

如果要知道是哪種軟中斷類型導致的，我們可以使用 watch -d cat /proc/softirqs 命令查看每個軟中斷類型的中斷次數的變化速率。

一般對于網絡 I/O 比較高的 Web 服務器，NET_RX 網絡接收中斷的變化速率相比其他中斷類型快很多。

如果發現 NET_RX 網絡接收中斷次數的變化速率過快，接下里就可以使用 sar -n DEV 查看網卡的網絡包接收速率情況，然后分析是哪個網卡有大量的網絡包進來。

接著，在通過 tcpdump 抓包，分析這些包的來源，如果是非法的地址，可以考慮加防火墻，如果是正常流量，則要考慮硬件升級等。

總結

為了避免由于中斷處理程序執行時間過長，而影響正常進程的調度，Linux 將中斷處理程序分為上半部和下半部：

• 上半部，對應硬中斷，由硬件觸發中斷，用來快速處理中斷；
• 下半部，對應軟中斷，由內核觸發中斷，用來異步處理上半部未完成的工作；

Linux 中的軟中斷包括網絡收發、定時、調度、RCU 鎖等各種類型，可以通過查看 /proc/softirqs 來觀察軟中斷的累計中斷次數情況，如果要實時查看中斷次數的變化率，可以使用 watch -d cat /proc/softirqs 命令。

每一個 CPU 都有各自的軟中斷內核線程，我們還可以用 ps 命令來查看內核線程，一般名字在中括號里面到，都認為是內核線程。

如果在 top 命令發現，CPU 在軟中斷上的使用率比較高，而且 CPU 使用率最高的進程也是軟中斷 ksoftirqd 的時候，這種一般可以認為系統的開銷被軟中斷占據了。

這時我們就可以分析是哪種軟中斷類型導致的，一般來說都是因為網絡接收軟中斷導致的，如果是的話，可以用 sar 命令查看是哪個網卡的有大量的網絡包接收，再用 tcpdump 抓網絡包，做進一步分析該網絡包的源頭是不是非法地址，如果是就需要考慮防火墻增加規則，如果不是，則考慮硬件升級等。

作者：碼農出擊HK
鏈接：
https://juejin.cn/post/7074098390795026468