LVS是linux Virtual Server的簡寫,意即Linux虛擬服務器,是一個虛擬的服務器集群系統。
三種LVS負載均衡模式
1.LVS-NAT 模式
網絡地址轉換,工作在網絡層(三層),只有VIP是公網IP,其余都是私網IP,Real Server指定LVS為網關,LVS開啟路由轉發,源和目標地址轉換,數據的進出期間,無論是進來的流量,還是出去的流量,都必須經過DR,會產生一種瓶頸,適合小網絡,規模10臺左右。
工作原理:
1、用戶發送請求報文到LVS的VIP上,VIP選擇一個Real Server,并記錄連接信息到hash表中,然后修改用戶的請求報文的目的IP地址為Real Server的地址,將請求發給Real Server; 2、Real Server收到請求報文包后,發現目的IP是自己的IP,于是處理請求,然后發送reply給LVS; 3、LVS收到reply包后,修改reply包的的源地址為VIP,發送給用戶; 4、從用戶來的屬于本次連接的包,查hash表,然后發給對應的Real Server。 5、當用戶發送完畢,此次連接結束或者連接超時,那么LVS自動從hash表中刪除此條記錄。
配置LVS server
#!/bin/sh # description: start LVS of Nat VLAN-IP=202.99.59.110 RIP1=10.1.1.2 RIP2=10.1.1.3 #RIPn=10.1.1.n GW=10.1.1.1 . /etc/rc.d/init.d/functions case "$1" in start) echo " start LVS of NAtServer" echo "1" >/proc/sys/net/ipv4/ip_forward echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects(內網卡上的) #Clear IPVS table /sbin/ipvsadm -C #set LVS /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.2:80 -m -w 1 /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.3:80 -m -w 1 #Run LVS /sbin/ipvsadm #end ;; stop) echo "close LVS Nat server" echo "0" >/proc/sys/net/ipv4/ip_forward echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects echo "1" >/proc/sys/net/ipv4/conf/eth1/send_redirects(內網卡上的) /sbin/ipvsadm -C ;; *) echo "Usage: $0 {start|stop}" exit 1 esac
LVS-Nat 模式的后端機器不需要配置.
2.LVS-DR 模式
調度器與實際服務器都有一塊網卡連在同一物理網段上,直接路由模式,工作在TCP/IP數據鏈路層(二層),必須都是公網ip,要求是同網段(因為DR是轉發給RS的,是在數據鏈路層實現的,DR要對二層包頭進行改換,所以DR和Real Server必須在一個廣播域下)。不需要路由轉發。需要關閉arp解析(抑制arp幀),客戶請求處理后直接返回給客戶。規模幾十臺左右。
工作原理:
1、當一個用戶發送一個WEB請求到VIP;
2、LVS服務器根據VIP選擇對應的Real Server的Pool,根據算法,在Pool中選擇一臺Real Server,并將這臺Real Server的mac地址作為目的MAC地址,重新將IP包封裝成幀轉給Real Server,LVS在hash表中記錄該次連接;
3、然后將用戶的請求包發給選擇的Real Server;
4、最后選擇的Real Server把應答包直接傳給用戶;
5、當用戶繼續發包過來時,LVS根據更才記錄的hash表的信息,將屬于此次連接的請求直接發到剛才選擇的Real Server上;當連接中止或者超時,hash表中的記錄將被刪除。
配置LVS server
#!/bin/sh VIP=192.168.0.210 RIP1=192.168.0.175 RIP2=192.168.0.145 . /etc/rc.d/init.d/functions case "$1" in start) echo "start LVS of DirectorServer" #Set the Virtual IP Address /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up /sbin/route add -host $VIP dev eth0:1 #Clear IPVS Table /sbin/ipvsadm -C #Set Lvs /sbin/ipvsadm -A -t $VIP:80 -s rr /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g #Run Lvs /sbin/ipvsadm ;; stop) echo "close LVS Directorserver" /sbin/ipvsadm -C /sbin/ifconfig eth0:1 down ;; *) echo "Usage: $0 {start|stop}" exit 1 esac
配置 RIP server
#!/bin/bash VIP=192.168.0.210 LOCAL_Name=50bang BROADCAST=192.168.0.255 #vip's broadcast . /etc/rc.d/init.d/functions case "$1" in start) echo "reparing for Real Server" echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $BROADCAST up /sbin/route add -host $VIP dev lo:0 ;; stop) ifconfig lo:0 down echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce ;; *) echo "Usage: lvs {start|stop}" exit 1 esac
3.IP隧道模式
ip-tun模式,工作在網絡層(三層),網卡需要具備tun隧道協議網卡,系統支持ip隧道,增加了數據傳輸時間,必須都是公網ip,可以是不同網段,跨路由,分散互聯網不同位置,不需要路由轉發。規模幾十臺左右。
配置lvs server
#!/bin/sh # description: start LVS of Directorserver VIP=192.168.25.41(注意,lvs server那臺機器2個ip,一個是vip,一個是本身ip例如192.168.25.42) RIP1=192.168.25.44 RIP2=192.168.25.45 #RIPn=192.168.0.n GW=192.168.25.254 . /etc/rc.d/init.d/functions case "$1" in start) echo " start LVS of DirectorServer" # set the Virtual IP Address /sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.0 up /sbin/route add -host $VIP dev tunl0 #Clear IPVS table /sbin/ipvsadm -C #set LVS /sbin/ipvsadm -A -t $VIP:80 -s rr /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i #/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -i #Run LVS /sbin/ipvsadm #end ;; stop) echo "close LVS Directorserver" ifconfig tunl0 down /sbin/ipvsadm -C ;; *) echo "Usage: $0 {start|stop}" exit 1 esac
配置real server
#!/bin/sh # ghb in 20060812 # description: Config realserver tunl port and Apply arp patch VIP=192.168.25.43 . /etc/rc.d/init.d/functions case "$1" in start) echo "Tunl port starting" ifconfig tunl0 $VIP netmask 255.255.255.0 broadcast $VIP up /sbin/route add -host $VIP dev tunl0 echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p ;; stop) echo "Tunl port closing" ifconfig tunl0 down echo 1 > /proc/sys/net/ipv4/ip_forward echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce ;; *) echo "Usage: $0 {start|stop}" exit 1 esac
VS 三種工作模式的優缺點比較
一、Virtual server via NAT(VS-NAT)
優點:集群中的物理服務器可以使用任何支持TCP/IP操作系統,物理服務器可以分配Internet的保留私有地址,只有負載均衡器需要一個合法的IP地址。
缺點:擴展性有限。當服務器節點(普通PC服務器)數據增長到20個或更多時,負載均衡器將成為整個系統的瓶頸,因為所有的請求包和應答包都需要經過負載均衡器再生。假使TCP包的平均長度是536字節的話,平均包再生延遲時間大約為60us(在Pentium處理器上計算的,采用更快的處理器將使得這個延遲時間變短),負載均衡器的最大容許能力為8.93M/s,假定每臺物理服務器的平臺容許能力為400K/s來計算,負責均衡器能為22臺物理服務器計算。
解決辦法:即使是是負載均衡器成為整個系統的瓶頸,如果是這樣也有兩種方法來解決它。一種是混合處理,另一種是采用Virtual Server via IP tunneling或Virtual Server via direct routing。如果采用混合處理的方法,將需要許多同屬單一的RR DNS域。你采用Virtual Server via IP tunneling或Virtual Server via direct routing以獲得更好的可擴展性。也可以嵌套使用負載均衡器,在最前端的是VS-Tunneling或VS-Drouting的負載均衡器,然后后面采用VS-NAT的負載均衡器。
二、Virtual server via IP tunneling(VS-TUN)
我們發現,許多Internet服務(例如WEB服務器)的請求包很短小,而應答包通常很大。
優點:負載均衡器只負責將請求包分發給物理服務器,而物理服務器將應答包直接發給用戶。所以,負載均衡器能處理很巨大的請求量,這種方式,一臺負載均衡能為超過100臺的物理服務器服務,負載均衡器不再是系統的瓶頸。使用VS-TUN方式,如果你的負載均衡器擁有100M的全雙工網卡的話,就能使得整個Virtual Server能達到1G的吞吐量。
不足:但是,這種方式需要所有的服務器支持"IP Tunneling"(IP Encapsulation)協議,我僅在Linux系統上實現了這個,如果你能讓其它操作系統支持,還在探索之中。
三、Virtual Server via Direct Routing(VS-DR)
優點:和VS-TUN一樣,負載均衡器也只是分發請求,應答包通過單獨的路由方法返回給客戶端。與VS-TUN相比,VS-DR這種實現方式不需要隧道結構,因此可以使用大多數操作系統做為物理服務器,其中包括:Linux 2.0.36、2.2.9、2.2.10、2.2.12;Solaris 2.5.1、2.6、2.7;FreeBSD 3.1、3.2、3.3;NT4.0無需打補丁;IRIX 6.5;HPUX11等。