如非必須,關(guān)掉或卸載iptables防火墻,并阻止kernel加載iptables模塊。這些模塊會影響并發(fā)性能。 一般的發(fā)行版,限制單進程最大可以打開1024個文件,這是遠遠不能滿足高并發(fā)需求的,調(diào)整過程如下:在#號提示符下敲入: 登錄后復(fù)制 將root啟動的單一進程的最大可以打開的文件數(shù)設(shè)置為65535個。如果系統(tǒng)回顯類似于“Operation not permitted”之類的話,說明上述限制修改失敗,實際上是因為指定的數(shù)值超過了Linux系統(tǒng)對該用戶打開文件數(shù)的軟限制或硬限制。因此,就需要修改Linux系統(tǒng)對用戶的關(guān)于打開文件數(shù)的軟限制和硬限制。 第一步,修改limits.conf文件,并添加: 登錄后復(fù)制 其中'*'號表示修改所有用戶的限制;soft或hard指定要修改軟限制還是硬限制;65536則指定了想要修改的新的限制值,即最大打開文件數(shù)(請注意軟限制值要小于或等于硬限制)。修改完后保存文件。第二步,修改/etc/pam.d/login文件,在文件中添加如下行: 登錄后復(fù)制 這是告訴Linux在用戶完成系統(tǒng)登錄后,應(yīng)該調(diào)用pam_limits.so模塊來設(shè)置系統(tǒng)對該用戶可使用的各種資源數(shù)量的最大限制(包括用戶可打開的最大文件數(shù)限制),而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設(shè)置這些限制值。修改完后保存此文件。 第三步,查看Linux系統(tǒng)級的最大打開文件數(shù)限制,使用如下命令: 登錄后復(fù)制 這表明這臺Linux系統(tǒng)最多允許同時打開(即包含所有用戶打開文件數(shù)總和)32568個文件,是Linux系統(tǒng)級硬限制,所有用戶級的打開文件數(shù)限制都不應(yīng)超過這個數(shù)值。通常這個系統(tǒng)級硬限制是Linux系統(tǒng)在啟動時根據(jù)系統(tǒng)硬件資源狀況計算出來的最佳的最大同時打開文件數(shù)限制,如果沒有特殊需要,不應(yīng)該修改此限制,除非想為用戶級打開文件數(shù)限制設(shè)置超過此限制的值。修改此硬限制的方法是修改/etc/sysctl.conf文件內(nèi)fs.file-max= 131072 這是讓Linux在啟動完成后強行將系統(tǒng)級打開文件數(shù)硬限制設(shè)置為131072。修改完后保存此文件。 完成上述步驟后重啟系統(tǒng),一般情況下就可以將Linux系統(tǒng)對指定用戶的單一進程允許同時打開的最大文件數(shù)限制設(shè)為指定的數(shù)值。如果重啟后用ulimit-n命令查看用戶可打開文件數(shù)限制仍然低于上述步驟中設(shè)置的最大值,這可能是因為在用戶登錄腳本/etc/profile中使用ulimit-n命令已經(jīng)將用戶可同時打開的文件數(shù)做了限制。 由于通過ulimit-n修改系統(tǒng)對用戶可同時打開文件的最大數(shù)限制時,新修改的值只能小于或等于上次ulimit-n設(shè)置的值,因此想用此命令增大這個限制值是不可能的。所以,如果有上述問題存在,就只能去打開/etc/profile腳本文件,在文件中查找是否使用了ulimit-n限制了用戶可同時打開的最大文件數(shù)量,如果找到,則刪除這行命令,或者將其設(shè)置的值改為合適的值,然后保存文件,用戶退出并重新登錄系統(tǒng)即可。 通過上述步驟,就為支持高并發(fā)TCP連接處理的通訊處理程序解除關(guān)于打開文件數(shù)量方面的系統(tǒng)限制。 Linux系統(tǒng)下,TCP連接斷開后,會以TIME_WAIT狀態(tài)保留一定的時間,然后才會釋放端口。當(dāng)并發(fā)請求過多的時候,就會產(chǎn)生大量的TIME_WAIT狀態(tài)的連接,無法及時斷開的話,會占用大量的端口資源和服務(wù)器資源。這個時候我們可以優(yōu)化TCP的內(nèi)核參數(shù),來及時將TIME_WAIT狀態(tài)的端口清理掉。 下面介紹的方法只對擁有大量TIME_WAIT狀態(tài)的連接導(dǎo)致系統(tǒng)資源消耗有效,如果不是這種情況下,效果可能不明顯。可以使用netstat命令去查TIME_WAIT狀態(tài)的連接狀態(tài),輸入下面的組合命令,查看當(dāng)前TCP連接的狀態(tài)和對應(yīng)的連接數(shù)量: 登錄后復(fù)制 這個命令會輸出類似下面的結(jié)果: 登錄后復(fù)制 我們只用關(guān)心TIME_WAIT的個數(shù),在這里可以看到,有18000多個TIME_WAIT,這樣就占用了18000多個端口。要知道端口的數(shù)量只有65535個,占用一個少一個,會嚴重的影響到后繼的新連接。這種情況下,我們就有必要調(diào)整下Linux的TCP內(nèi)核參數(shù),讓系統(tǒng)更快的釋放TIME_WAIT連接。 編輯配置文件:/etc/sysctl.conf,在這個文件中,加入下面的幾行內(nèi)容: 登錄后復(fù)制 輸入下面的命令,讓內(nèi)核參數(shù)生效: 登錄后復(fù)制 簡單的說明上面的參數(shù)的含義: 在經(jīng)過這樣的調(diào)整之后,除了會進一步提升服務(wù)器的負載能力之外,還能夠防御小流量程度的DoS、CC和SYN攻擊。 此外,如果你的連接數(shù)本身就很多,我們可以再優(yōu)化一下TCP的可使用端口范圍,進一步提升服務(wù)器的并發(fā)能力。依然是往上面的參數(shù)文件中,加入下面這些配置: 登錄后復(fù)制 這幾個參數(shù),建議只在流量非常大的服務(wù)器上開啟,會有顯著的效果。一般的流量小的服務(wù)器上,沒有必要去設(shè)置這幾個參數(shù)。 同時還涉及到一個TCP 擁塞算法的問題,你可以用下面的命令查看本機提供的擁塞算法控制模塊: 對于幾種算法的分析,詳情可以參考下:TCP擁塞控制算法的優(yōu)缺點、適用環(huán)境、性能分析,比如高延時可以試用hybla,中等延時可以試用htcp算法等。 如果想設(shè)置TCP 擁塞算法為hybla net.ipv4.tcp_congestion_control=hybla 額外的,對于內(nèi)核版高于于3.7.1的,我們可以開啟tcp_fastopen:net.ipv4.tcp_fastopen= 3 在Linux啟用高并發(fā)TCP連接,必須確認應(yīng)用程序是否使用了合適的網(wǎng)絡(luò)I/O技術(shù)和I/O事件分派機制。可用的I/O技術(shù)有同步I/O,非阻塞式同步I/O,以及異步I/O。在高TCP并發(fā)的情形下,如果使用同步I/O,這會嚴重阻塞程序的運轉(zhuǎn),除非為每個TCP連接的I/O創(chuàng)建一個線程。但是,過多的線程又會因系統(tǒng)對線程的調(diào)度造成巨大開銷。因此,在高TCP并發(fā)的情形下使用同步I/O是不可取的,這時可以考慮使用非阻塞式同步I/O或異步I/O。非阻塞式同步I/O的技術(shù)包括使用select(),poll(),epoll等機制。異步I/O的技術(shù)就是使用AIO。 從I/O事件分派機制來看,使用select()是不合適的,因為它所支持的并發(fā)連接數(shù)有限(通常在1024個以內(nèi))。如果考慮性能,poll()也是不合適的,盡管它可以支持的較高的TCP并發(fā)數(shù),但是由于其采用“輪詢”機制,當(dāng)并發(fā)數(shù)較高時,其運行效率相當(dāng)?shù)停⒖赡艽嬖贗/O事件分派不均,導(dǎo)致部分TCP連接上的I/O出現(xiàn)“饑餓”現(xiàn)象。而如果使用epoll或AIO,則沒有上述問題(早期Linux內(nèi)核的AIO技術(shù)實現(xiàn)是通過在內(nèi)核中為每個I/O請求創(chuàng)建一個線程來實現(xiàn)的,這種實現(xiàn)機制在高并發(fā)TCP連接的情形下使用其實也有嚴重的性能問題。但在最新的Linux內(nèi)核中,AIO的實現(xiàn)已經(jīng)得到改進)。 綜上所述,在開發(fā)支持高并發(fā)TCP連接的Linux應(yīng)用程序時,應(yīng)盡量使用epoll或AIO技術(shù)來實現(xiàn)并發(fā)的TCP連接上的I/O控制,這將為提升程序?qū)Ω卟l(fā)TCP連接的支持提供有效的I/O保證。 經(jīng)過這樣的優(yōu)化配置之后,服務(wù)器的TCP并發(fā)處理能力會顯著提高。以上配置僅供參考,用于生產(chǎn)環(huán)境請根據(jù)自己的實際情況調(diào)整觀察再調(diào)整。Iptables相關(guān)
單進程最大打開文件數(shù)限制
# ulimit–n 65535
# vim /etc/security/limits.conf
* softnofile 65536
* hard nofile65536
# vim /etc/pam.d/login
sessionrequired /lib/security/pam_limits.so
# cat/proc/sys/fs/file-max
32568
內(nèi)核TCP參數(shù)方面
# netstat-n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
LAST_ACK16
SYN_RECV348
ESTABLISHED70
FIN_WAIT1229
FIN_WAIT230
CLOSING33
TIME_WAIT18098
# vim /etc/sysctl.conf
net.ipv4.tcp_syncookies= 1
net.ipv4.tcp_tw_reuse= 1
net.ipv4.tcp_tw_recycle= 1
net.ipv4.tcp_fin_timeout= 30
# sysctl-p
net.ipv4.tcp_keepalive_time= 1200
net.ipv4.ip_local_port_range= 1024 65535
net.ipv4.tcp_max_syn_backlog= 8192
net.ipv4.tcp_max_tw_buckets= 5000
IO事件分配機制
以上就是高并發(fā)情況下 Linux 系統(tǒng)及 kernel 參數(shù)優(yōu)化的詳細內(nèi)容,更多請關(guān)注www.92cms.cn其它相關(guān)文章!