使用LVS（Linux Virtual Server）在Linux上搭建負(fù)載均衡的集群服務(wù)
一、基于于NAT的LVS的安裝與配置。
1. 硬件需求和網(wǎng)絡(luò)拓?fù)?
________
| |
| 客戶端 | (互連網(wǎng))
|________|
|
(router)
202.99.59.1(director GW)
|
|
(202.99.59.110)Virtual IP
____|_____
| | (控制器有兩塊網(wǎng)卡)
| director |
|__________|
(192.168.10.254)DIP
|
-----------------+----------------
| | |
RIP1 RIP2 RIPx
____________ ____________ ____________
|192.168.10.1| |192.168.10.2| |192.168.10.x|
|realserver1 | |realserver2 | |realserverx |
|____________| |____________| |____________|
2.下載軟件：
(1)、內(nèi)核源代碼：需要下載2.4.23以后版本的內(nèi)核源代碼。下載地址為http://www.kerner.org。本文中下載的內(nèi)核源代為：linux-2.4.30.tar.bz2。
(2)、用戶配置工具ipvsadm，下載地址：http://www.linuxvirtualserver.org/software/ipvs.html。本文下載的是：http://www.linuxvirtualserver.org/software/kernel-2.4/ipvsadm-1.21-11.tar.gz
3.安裝軟件：
在director(控制器，202.99.59.110)上安裝支持LVS的內(nèi)核和配置工具ipvsadm。
(1)、在內(nèi)核配置時(shí)以下選項(xiàng)必須選：
Networking options --->
<*> Packet socket
<*> Netlink device emulation
[*] TCP/IP networking
[*] IP: advanced router
[*] Network packet filtering (replaces ipchains)
IP: Netfilter Configuration --->
<*> Connection tracking (required for masq/NAT)
<*> IP tables support (required for filtering/masq/NAT)
<*> Full NAT
<*> MASQUERADE target support
IP: Virtual Server Configuration --->
<*> virtual server support (EXPERIMENTAL)
(12) IPVS connection table size (the Nth power of 2)
--- IPVS scheduler
<M> round-robin scheduling
<M> weighted round-robin scheduling
<M> least-connection scheduling
<M> weighted least-connection scheduling
<M> locality-based least-connection scheduling
<M> locality-based least-connection with replication scheduling
<M> destination hashing scheduling
<M> shortest expected delay scheduling
<M> never queue scheduling
(2)、編譯和安裝內(nèi)核
分別執(zhí)行: make bzImage;make modules;make modules_install；然后編輯啟動(dòng)配置文件，重新啟動(dòng)系統(tǒng)，在啟動(dòng)時(shí)選擇新的內(nèi)核。
系統(tǒng)啟動(dòng)后要確認(rèn)內(nèi)核是否支持ipvs，只需要執(zhí)行下面的命令即可：grep ip_vs_init /boot/System.map
(3)、編譯和安裝ipvsadm
ln -s /usr/src/linux-2.4.30 /usr/src/linux tar -zxvf ipvsadm-1.21-11.tar.gz
cd ipvsadm-1.21-11
make all
make install
然后運(yùn)行：ipvsadm --version命令，應(yīng)該有下面的內(nèi)容輸出：
ipvsadm v1.21 2004/02/23 (compiled with popt and IPVS v1.0.12)
4. 配置LVS
(1)、在202.99.59.110上：
echo "1" >/proc/sys/net/ipv4/ip_forward
echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects
清除ipvsadm表：
/sbin/ipvsadm -C
使用ipvsadm安裝LVS服務(wù)
#add http to VIP with rr sheduling
/sbin/ipvsadm -A -t 202.99.59.110:80 -s rr
增加第一臺(tái)realserver：
#forward http to realserver 192.168.10.1 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 202.99.59.110:80 -r 192.168.10.1:80 -m -w 1
增加第二臺(tái)realserver：
#forward http to realserver 192.168.10.2 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 202.99.59.110:80 -r 192.168.10.2:80 -m -w 1
(2)、realserver配置
在192.168.10.1(realserver1)和192.168.10.2(realserver2)上分別將其網(wǎng)關(guān)設(shè)置為192.168.10.254，并分別啟動(dòng)apache服務(wù)。
在客戶端使用瀏覽器多次訪問：http://202.99.59.110/，然后再202.99.59.110上運(yùn)行ipvsadm命令，應(yīng)該有類似下面的輸出：
IP Virtual Server version 1.0.12 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 202.99.59.110:http rr
-> 192.168.10.1:http Masq 1 0 33
-> 192.168.10.2:http Masq 1 0 33
從上面的結(jié)果可以看出，我們的LVS服務(wù)器已經(jīng)成功運(yùn)行。
二、基于直接路由(DR)的LVS的配置
1.硬件需求和網(wǎng)絡(luò)拓?fù)洌?
________
| |
| 客戶端 | (互連網(wǎng))
|________|
|
(router)
202.99.59.1(director GW)
|
__________ |
| | | (VIP=202.99.59.110, eth0:110)
| director |---| (控制器有一塊網(wǎng)卡，且與realserver1和realserver2在同一網(wǎng)段)
|__________| | DIP=202.99.59.109 (eth0)
|
-----------------------------------
| |
RIP=202.99.59.108(eth0) RIP=202.99.59.107(eth0)
(VIP=202.99.59.110, lo:0) (VIP=202.99.59.110, lo:0)
____________ ____________
| | | |
|realserver1 | |realserver2 |
|____________| |____________|
2.安裝軟件：
在director(202.99.59.109)上安裝上面的方法安裝內(nèi)核和管理軟件。
3. 配置LVS
(1)、在202.99.59.109上：
修改內(nèi)核運(yùn)行參數(shù)，即修改/etc/sysctl.conf文件的內(nèi)容如下：
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.eth0.send_redirects = 1
然后執(zhí)行下面的命令是對(duì)內(nèi)核修改的參數(shù)立即生效：
sysctl -p
配置VIP地址：
/sbin/ifconfig eth0:0 202.99.59.110 broadcast 202.99.59.110 netmask 255.255.255.255 up
/sbin/route add -host 202.99.59.110 dev eth0:0
清除ipvsadm表:
/sbin/ipvsadm -C
使用ipvsadm安裝LVS服務(wù)：
/sbin/ipvsadm -A -t 192.168.1.110:http -s rr
增加realserver：
#forward http to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
(2)在realserver1(202.99.59.108)和realserver2(202.99.59.107)上做下面的設(shè)置。
修改內(nèi)核運(yùn)行參數(shù)，即修改/etc/sysctl.conf文件的內(nèi)容如下：
net.ipv4.ip_forward = 0
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
然后執(zhí)行下面的命令是對(duì)內(nèi)核修改的參數(shù)立即生效：
sysctl -p
配置VIP地址：
/sbin/ifconfig lo:0 202.99.59.110 broadcast 202.99.59.110 netmask 255.255.255.255 up
/sbin/route add -host 202.99.59.110 dev lo:0
p>在客戶端使用瀏覽器多次訪問：http://202.99.59.110/，然后再202.99.59.110上運(yùn)行ipvsadm命令，應(yīng)該有類似下面的輸出：
IP Virtual Server version 1.0.12 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.100.254:http rr
-> 192.168.100.3:http Route 1 0 28
-> 192.168.100.2:http Route 1 0 29
從上面的結(jié)果可以看出，我們的LVS服務(wù)器已經(jīng)成功運(yùn)行。
在面的實(shí)例中ipvsadm用到的幾個(gè)參數(shù)含義如下：
-A 增加一個(gè)虛擬服務(wù)，該服務(wù)由協(xié)議、IP地址和端口號(hào)組成，例如：
-A -t 202.99.59.110:80 (增加一格虛擬服務(wù)，其協(xié)議(-t表示tcp，-u表示udp)為TCP、IP為202.99.59.110、端口號(hào)為80。
-s 指定服務(wù)采用的算法，常用的算法參數(shù)如下：
- rr 輪叫（Round Robin）
調(diào)度器通過"輪叫"調(diào)度算法將外部請(qǐng)求按順序輪流分配到集群中的真實(shí)服務(wù)器上，它均等地對(duì)待每一臺(tái)服務(wù) 器，而不管服務(wù)器上實(shí)際的連接數(shù)和系統(tǒng)負(fù)載。
- wrr 加權(quán)輪叫（Weighted Round Robin）
調(diào)度器通過"加權(quán)輪叫"調(diào)度算法根據(jù)真實(shí)服務(wù)器的不同處理能力來調(diào)度訪問請(qǐng)求。這樣可以保證處理能力強(qiáng)的服務(wù)器處理更多的訪問流量。調(diào)度器可以自動(dòng)問詢真實(shí)服務(wù)器的負(fù)載情況，并動(dòng)態(tài)地調(diào)整其權(quán)值。
- lc 最少鏈接（Least Connections）
調(diào)度器通過"最少連接"調(diào)度算法動(dòng)態(tài)地將網(wǎng)絡(luò)請(qǐng)求調(diào)度到已建立的鏈接數(shù)最少的服務(wù)器上。如果集群系統(tǒng)的真實(shí)服務(wù)器具有相近的系統(tǒng)性能，采用"最小連接"調(diào)度算法可以較好地均衡負(fù)載。
- wlc 加權(quán)最少鏈接（Weighted Least Connections）
在集群系統(tǒng)中的服務(wù)器性能差異較大的情況下，調(diào)度器采用"加權(quán)最少鏈接"調(diào)度算法優(yōu)化負(fù)載均衡性能，具有較高權(quán)值的服務(wù)器將承受較大比例的活動(dòng)連接負(fù)載。調(diào)度器可以自動(dòng)問詢真實(shí)服務(wù)器的負(fù)載情況，并動(dòng)態(tài)地調(diào)整其權(quán)值。
- lblc 基于局部性的最少鏈接（Locality-Based Least Connections）
"基于局部性的最少鏈接" 調(diào)度算法是針對(duì)目標(biāo)IP地址的負(fù)載均衡，目前主要用于Cache集群系統(tǒng)。該算法根據(jù)請(qǐng)求的目標(biāo)IP地址找出該目標(biāo)IP地址最近使用的服務(wù)器，若該服務(wù)器是可用的且沒有超載，將請(qǐng)求發(fā)送到該服務(wù)器；若服務(wù)器不存在，或者該服務(wù)器超載且有服務(wù)器處于一半的工作負(fù)載，則用"最少鏈接"的原則選出一個(gè)可用的服務(wù)器，將請(qǐng)求發(fā)送到該服務(wù)器。
- lblcr 帶復(fù)制的基于局部性最少鏈接（Locality-Based Least Connections with Replication）
"帶復(fù)制的基于局部性最少鏈接"調(diào)度算法也是針對(duì)目標(biāo)IP地址的負(fù)載均衡，目前主要用于Cache集群系統(tǒng)。它與LBLC算法的不同之處是它要維護(hù)從一個(gè)目標(biāo)IP地址到一組服務(wù)器的映射，而LBLC算法維護(hù)從一個(gè)目標(biāo)IP地址到一臺(tái)服務(wù)器的映射。該算法根據(jù)請(qǐng)求的目標(biāo)IP地址找出該目標(biāo)IP地址對(duì)應(yīng)的服務(wù)器組，按"最小連接"原則從服務(wù)器組中選出一臺(tái)服務(wù)器，若服務(wù)器沒有超載，將請(qǐng)求發(fā)送到該服務(wù)器，若服務(wù)器超載；則按"最小連接"原則從這個(gè)集群中選出一臺(tái)服務(wù)器，將該服務(wù)器加入到服務(wù)器組中，將請(qǐng)求發(fā)送到該服務(wù)器。同時(shí)，當(dāng)該服務(wù)器組有一段時(shí)間沒有被修改，將最忙的服務(wù)器從服務(wù)器組中刪除，以降低復(fù)制的程度。
- dh 目標(biāo)地址散列（Destination Hashing）
"目標(biāo)地址散列"調(diào)度算法根據(jù)請(qǐng)求的目標(biāo)IP地址，作為散列鍵（Hash Key）從靜態(tài)分配的散列表找出對(duì)應(yīng)的服務(wù)器，若該服務(wù)器是可用的且未超載，將請(qǐng)求發(fā)送到該服務(wù)器，否則返回空。
- sh 源地址散列（Source Hashing）
"源地址散列"調(diào)度算法根據(jù)請(qǐng)求的源IP地址，作為散列鍵（Hash Key）從靜態(tài)分配的散列表找出對(duì)應(yīng)的服務(wù)器，若該服務(wù)器是可用的且未超載，將請(qǐng)求發(fā)送到該服務(wù)器，否則返回空。
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
-a 表示往一個(gè)服務(wù)內(nèi)增加一個(gè)real server
-r 指定real server的IP地址
-w 表示權(quán)重
-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。