作者：蔣小強
來源：http://ifeve.com/how-to-calculate-threadpool-size/
背景
在我們?nèi)粘I(yè)務(wù)開發(fā)過程中，或多或少都會用到并發(fā)的功能。那么在用到并發(fā)功能的過程中，就肯定會碰到下面這個問題
并發(fā)線程池到底設(shè)置多大呢？
通常有點年紀(jì)的程序員或許都聽說這樣一個說法 （其中 N 代表 CPU 的個數(shù)）
- CPU 密集型應(yīng)用，線程池大小設(shè)置為 N + 1
- IO 密集型應(yīng)用，線程池大小設(shè)置為 2N
這個說法到底是不是正確的呢？
其實這是極不正確的。那為什么呢？
- 首先我們從反面來看，假設(shè)這個說法是成立的，那我們在一臺服務(wù)器上部署多少個服務(wù)都無所謂了。因為線程池的大小只能服務(wù)器的核數(shù)有關(guān)，所以這個說法是不正確的。那具體應(yīng)該怎么設(shè)置大小呢？
- 假設(shè)這個應(yīng)用是兩者混合型的，其中任務(wù)即有 CPU 密集，也有 IO 密集型的，那么我們改怎么設(shè)置呢？是不是只能拋硬盤來決定呢？
那么我們到底該怎么設(shè)置線程池大小呢？有沒有一些具體實踐方法來指導(dǎo)大家落地呢？讓我們來深入地了解一下。
Little's Law（利特爾法則）
一個系統(tǒng)請求數(shù)等于請求的到達率與平均每個單獨請求花費的時間之乘積
假設(shè)服務(wù)器單核的，對應(yīng)業(yè)務(wù)需要保證請求量（QPS）：10 ，真正處理一個請求需要 1 秒，那么服務(wù)器每個時刻都有 10 個請求在處理，即需要 10 個線程
同樣，我們可以使用利特爾法則（Little’s law）來判定線程池大小。我們只需計算請求到達率和請求處理的平均時間。然后，將上述值放到利特爾法則（Little’s law）就可以算出系統(tǒng)平均請求數(shù)。估算公式如下
*線程池大小 = （（線程 IO time + 線程 CPU time ）/線程 CPU time ） CPU數(shù)目**
具體實踐
通過公式，我們了解到需要 3 個具體數(shù)值
- 一個請求所消耗的時間 (線程 IO time + 線程 CPU time)
- 該請求計算時間 （線程 CPU time）
- CPU 數(shù)目
請求消耗時間
Web 服務(wù)容器中，可以通過 Filter 來攔截獲取該請求前后消耗的時間
CPU 計算時間
CPU 計算時間 = 請求總耗時 - CPU IO time
假設(shè)該請求有一個查詢 DB 的操作，只要知道這個查詢 DB 的耗時（CPU IO time），計算的時間不就出來了嘛，我們看一下怎么才能簡潔，明了的記錄 DB 查詢的耗時。通過（JDK 動態(tài)代理/ CGLIB）的方式添加 AOP 切面，來獲取線程 IO 耗時。代碼如下，請參考
CPU 數(shù)目
邏輯 CPU 個數(shù) ，設(shè)置線程池大小的時候參考的 CPU 個數(shù)
cat/proc/cpuinfo|grep"processor"|wc-l
總結(jié)
合適的配置線程池大小其實很不容易，但是通過上述的公式和具體代碼，我們就能快速、落地的算出這個線程池該設(shè)置的多大。不過最后的最后，我們還是需要通過壓力測試來進行微調(diào)，只有經(jīng)過壓測測試的檢驗，我們才能最終保證的配置大小是準(zhǔn)確的。
