見(jiàn)字如面,我是威哥,一個(gè)從普通二本院校畢業(yè),從未曾接觸分布式、微服務(wù)、高并發(fā)到通過(guò)技術(shù)分享實(shí)現(xiàn)職場(chǎng)蛻變,成長(zhǎng)為RocketMQ社區(qū)優(yōu)秀布道師、大廠資深架構(gòu)師,出版《RocketMQ技術(shù)內(nèi)幕》一書,歡迎大家關(guān)注我,一起交流進(jìn)步。
JAVA并發(fā)編程是大廠第一輪面試中的高頻面試題,而線程池又是其中的典型代表,本文將梳理關(guān)于線程池的工作機(jī)制,并提出靈魂之問(wèn):你對(duì)線程池的工作機(jī)制這么了解,那你在工作中是如何判斷一個(gè)線程池需要?jiǎng)?chuàng)建多少個(gè)線程的呢?
1、線程池基本工作原理與面試指南
1.1 java線程池的核心屬性
JAVA 線程池的核心屬性如下:
- int corePoolSize
核心線程數(shù) - int maximumPoolSize
線程池最大線程數(shù) - long keepAliveTime
線程保持活躍的時(shí)間 - TimeUnit unit
keepAliveTime 的時(shí)間單位 - BlockingQueue< Runnable > workQueue
任務(wù)擠壓隊(duì)列 - ThreadFactory threadFactory
線程創(chuàng)建工廠類 - RejectedExecutionHandler handler
拒絕策略
1.2 向線程池提交任務(wù)時(shí)線程創(chuàng)建過(guò)程
那當(dāng)用戶向線程池提交一個(gè)任務(wù)的時(shí)候,線程池會(huì)如何創(chuàng)建線程呢?
- 首先線程池會(huì)判斷當(dāng)前已創(chuàng)建的線程是否小于 corePoolSize (核心線程數(shù)),如果小于,則無(wú)論已創(chuàng)建的線程是否空閑,都會(huì)選擇創(chuàng)建一個(gè)新的線程來(lái)執(zhí)行該任務(wù),直到已創(chuàng)建的線程等于核心線程數(shù)。
- 當(dāng)線程池中已創(chuàng)建的線程數(shù)等于核心核心線程數(shù)時(shí),用戶繼續(xù)向線程池提交任務(wù)時(shí),此時(shí)會(huì)先判斷任務(wù)隊(duì)列是否已滿:
1)如果任務(wù)隊(duì)列未滿,則將任務(wù)放入隊(duì)列中。2)如果任務(wù)隊(duì)列已滿,則判斷當(dāng)前線程數(shù)量是否超過(guò)了最大線程數(shù)量,如果未超過(guò),則創(chuàng)建一個(gè)新的線程來(lái)執(zhí)行該任務(wù),如果線程池已創(chuàng)建的線程數(shù)量等最大線程數(shù),則執(zhí)行拒絕策略。
溫馨提示:所以如果線程池使用的隊(duì)列無(wú)界隊(duì)列,最大線程數(shù)會(huì)變得沒(méi)有意義。
1.3 線程池的拒絕策略、使用場(chǎng)景
JUC 默認(rèn)提供了如下拒絕策略:
- AbortPolicy
拒絕,直接拋出 RejectedExecutionException,默認(rèn)值。 - CallerRunsPolicy
由調(diào)用線程直接運(yùn)行任務(wù)的 run 方法,即異步轉(zhuǎn)同步。 - DiscardOldestPolicy
丟棄任務(wù)隊(duì)列中最先進(jìn)入的任務(wù)。 - DiscardPolicy
拒絕了,就不執(zhí)行,“當(dāng)沒(méi)事人事”樣。
拒絕策略觸發(fā)的條件:線程池使用的是有界任務(wù)隊(duì)列時(shí),才有可能被觸發(fā),當(dāng)隊(duì)列已滿,并且線程池創(chuàng)建的線程已經(jīng)達(dá)到了最大允許的線程池時(shí)。
默認(rèn)情況下,通常使用 AbortPolicy 即可。
CallerRunsPolicy 異步轉(zhuǎn)同步在出現(xiàn)拒絕的情況下其實(shí)意義不大,沒(méi)有想出其合適的場(chǎng)景,因?yàn)樾枰獔?zhí)行拒絕策略的時(shí)候,已經(jīng)處理變慢了,再同步執(zhí)行任務(wù),只會(huì)增加服務(wù)器的負(fù)載,不利于恢復(fù)問(wèn)題。
DiscardOldestPolicy 這種策略,通常用于類似記錄軌跡,偶爾丟失點(diǎn)數(shù)據(jù)沒(méi)關(guān)系,但希望最新的數(shù)據(jù)能得到保存。
DiscardPolicy 策略,通常用來(lái)異步打印日志,直接忽略不執(zhí)行,期望保存舊的數(shù)據(jù)。
1.4 如何選擇阻塞隊(duì)列
阿里內(nèi)部的開(kāi)源規(guī)范明確禁止使用無(wú)界隊(duì)列,如果使用無(wú)界隊(duì)列,任務(wù)會(huì)不受限制的往線程池中提交,有可能造成內(nèi)存溢出。
如果使用無(wú)界隊(duì)列,最大線程數(shù)這個(gè)參數(shù)將會(huì)失效,因?yàn)橛肋h(yuǎn)也不會(huì)創(chuàng)建多于核心線程數(shù)量的線程。
1.5 線程池工廠有何實(shí)際用處
ThreadFactory threadFactory,線程池工廠,在使用線程池時(shí),強(qiáng)烈推薦使用自己定義的線程工廠,這樣能為線程池中的線程進(jìn)行命名,方便跟大家使用 jsatck 命令查看線程棧時(shí),能快速識(shí)別對(duì)應(yīng)的線程。
1.6 keepAliveTime參數(shù)的作用
keepAliveTime :通俗點(diǎn)來(lái)說(shuō),這個(gè)參數(shù)表示線程的最大空閑時(shí)間,即如果線程沒(méi)有在執(zhí)行任務(wù),能存活的時(shí)間。
默認(rèn)情況下,該參數(shù)只針對(duì)超過(guò)核心線程數(shù)(corePoolSize) 的線程,可通過(guò)將allowCoreThreadTimeOut設(shè)置為true,則核心線程數(shù)也會(huì)因?yàn)榭臻e而被關(guān)閉。
2、如何為一個(gè)線程池設(shè)置合適的線程數(shù)量
目前根據(jù)我看過(guò)的一些開(kāi)源框架,設(shè)置多少個(gè)線程數(shù)量通常是根據(jù)應(yīng)用的類型:IO密集型、CPU密集型。
- IO密集型通常設(shè)置為2n+1,其中n為CPU核數(shù)
- CPU密集型通常設(shè)置為 n+1。
實(shí)際情況往往復(fù)雜得多,并不會(huì)按照這個(gè)進(jìn)行設(shè)置,上面的公司通常適合框架設(shè)置IO線程的個(gè)數(shù),例如netty,dubbo這種底層通訊框架通常會(huì)參考上述標(biāo)準(zhǔn)進(jìn)行設(shè)置。
關(guān)于在實(shí)際業(yè)務(wù)開(kāi)發(fā)中,如何為一個(gè)線程池設(shè)置合適的線程呢?
其實(shí)對(duì)于IO密集型類型的應(yīng)用,網(wǎng)上還有一個(gè)公式:線程數(shù) = CPU核心數(shù)/(1-阻塞系數(shù))
引入了阻塞系數(shù)的概念,一般為0.8~0.9之間,
在我們的業(yè)務(wù)開(kāi)發(fā)中,基本上都是IO密集型,因?yàn)橥紩?huì)去操作數(shù)據(jù)庫(kù),訪問(wèn)redis,es等存儲(chǔ)型組件,都會(huì)涉及到磁盤IO,網(wǎng)絡(luò)IO。
那什么場(chǎng)景下是CPU密集型呢?純計(jì)算類,例如計(jì)算圓周率的位數(shù),當(dāng)然我們基本接觸不到。
IO密集型,可以考慮多設(shè)置一些線程,主要目的是可以增加IO的并發(fā)度,CPU密集型不宜設(shè)置過(guò)多線程,因?yàn)槭菚?huì)造成線程切換,反而損耗性能。
接下來(lái)我們以一個(gè)實(shí)際的場(chǎng)景來(lái)說(shuō)明如何設(shè)置線程數(shù)量。
一個(gè)4C8G的機(jī)器上部署了一個(gè)MQ消費(fèi)者,在RocketMQ的實(shí)現(xiàn)中,消費(fèi)端也是用一個(gè)線程池來(lái)消費(fèi)線程的,那這個(gè)線程數(shù)要怎么設(shè)置呢?
如果按照 2n + 1 的公式,線程數(shù)設(shè)置為 9個(gè),但在我們實(shí)踐過(guò)程中發(fā)現(xiàn)如果增大線程數(shù)量,會(huì)顯著提高消息的處理能力,說(shuō)明 2n + 1 對(duì)于業(yè)務(wù)場(chǎng)景來(lái)說(shuō),并不太合適。
如果套用 線程數(shù) = CPU核心數(shù)/(1-阻塞系數(shù)) 阻塞系數(shù)取 0.8 ,線程數(shù)為 20 。阻塞系數(shù)取 0.9,大概線程數(shù)40,20個(gè)線程數(shù)我覺(jué)得可以。
如果我們發(fā)現(xiàn)數(shù)據(jù)庫(kù)的操作耗時(shí)比較多,此時(shí)可以繼續(xù)提高阻塞系數(shù),從而增大線程數(shù)量。
那我們?cè)趺磁袛嘈枰黾痈嗑€程呢?可以用jstack命令查看一下進(jìn)程的線程棧,如果發(fā)現(xiàn)線程池中大部分線程都處于等待獲取任務(wù),則說(shuō)明線程夠用,如下圖所示:
如果大部分線程都處于運(yùn)行狀態(tài),可以繼續(xù)適當(dāng)調(diào)高線程數(shù)量。
本期就介紹到這里了,希望對(duì)你有所幫助,同時(shí)也希望一鍵三連,給作者一些鼓勵(lì)。
分享筆者關(guān)于RocketMQ線上故障案例剖析的電子書,私信回復(fù)RMQPDF即可獲取。