使用LVS（Linux Virtual Server）在Linux上搭建負載均衡的集群服務
一、基于于NAT的LVS的安裝與配置。
1. 硬件需求和網絡拓撲
________
| |
| 客戶端 | (互連網)
|________|
|
(router)
202.99.59.1(director GW)
|
|
(202.99.59.110)Virtual IP
____|_____
| | (控制器有兩塊網卡)
| director |
|__________|
(192.168.10.254)DIP
|
-----------------+----------------
| | |
RIP1 RIP2 RIPx
____________ ____________ ____________
|192.168.10.1| |192.168.10.2| |192.168.10.x|
|realserver1 | |realserver2 | |realserverx |
|____________| |____________| |____________|
2.下載軟件：
(1)、內核源代碼：需要下載2.4.23以后版本的內核源代碼。下載地址為http://www.kerner.org。本文中下載的內核源代為：linux-2.4.30.tar.bz2。
(2)、用戶配置工具ipvsadm，下載地址：http://www.linuxvirtualserver.org/software/ipvs.html。本文下載的是：http://www.linuxvirtualserver.org/software/kernel-2.4/ipvsadm-1.21-11.tar.gz
3.安裝軟件：
在director(控制器，202.99.59.110)上安裝支持LVS的內核和配置工具ipvsadm。
(1)、在內核配置時以下選項必須選：
Networking options --->
<*> Packet socket
<*> Netlink device emulation
[*] TCP/IP networking
[*] IP: advanced router
[*] Network packet filtering (replaces ipchains)
IP: Netfilter Configuration --->
<*> Connection tracking (required for masq/NAT)
<*> IP tables support (required for filtering/masq/NAT)
<*> Full NAT
<*> MASQUERADE target support
IP: Virtual Server Configuration --->
<*> virtual server support (EXPERIMENTAL)
(12) IPVS connection table size (the Nth power of 2)
--- IPVS scheduler
<M> round-robin scheduling
<M> weighted round-robin scheduling
<M> least-connection scheduling
<M> weighted least-connection scheduling
<M> locality-based least-connection scheduling
<M> locality-based least-connection with replication scheduling
<M> destination hashing scheduling
<M> shortest expected delay scheduling
<M> never queue scheduling
(2)、編譯和安裝內核
分別執行: make bzImage;make modules;make modules_install；然后編輯啟動配置文件，重新啟動系統，在啟動時選擇新的內核。
系統啟動后要確認內核是否支持ipvs，只需要執行下面的命令即可：grep ip_vs_init /boot/System.map
(3)、編譯和安裝ipvsadm
ln -s /usr/src/linux-2.4.30 /usr/src/linux tar -zxvf ipvsadm-1.21-11.tar.gz
cd ipvsadm-1.21-11
make all
make install
然后運行：ipvsadm --version命令，應該有下面的內容輸出：
ipvsadm v1.21 2004/02/23 (compiled with popt and IPVS v1.0.12)
4. 配置LVS
(1)、在202.99.59.110上：
echo "1" >/proc/sys/net/ipv4/ip_forward
echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects
清除ipvsadm表：
/sbin/ipvsadm -C
使用ipvsadm安裝LVS服務
#add http to VIP with rr sheduling
/sbin/ipvsadm -A -t 202.99.59.110:80 -s rr
增加第一臺realserver：
#forward http to realserver 192.168.10.1 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 202.99.59.110:80 -r 192.168.10.1:80 -m -w 1
增加第二臺realserver：
#forward http to realserver 192.168.10.2 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 202.99.59.110:80 -r 192.168.10.2:80 -m -w 1
(2)、realserver配置
在192.168.10.1(realserver1)和192.168.10.2(realserver2)上分別將其網關設置為192.168.10.254，并分別啟動apache服務。
在客戶端使用瀏覽器多次訪問：http://202.99.59.110/，然后再202.99.59.110上運行ipvsadm命令，應該有類似下面的輸出：
IP Virtual Server version 1.0.12 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 202.99.59.110:http rr
-> 192.168.10.1:http Masq 1 0 33
-> 192.168.10.2:http Masq 1 0 33
從上面的結果可以看出，我們的LVS服務器已經成功運行。
二、基于直接路由(DR)的LVS的配置
1.硬件需求和網絡拓撲：
________
| |
| 客戶端 | (互連網)
|________|
|
(router)
202.99.59.1(director GW)
|
__________ |
| | | (VIP=202.99.59.110, eth0:110)
| director |---| (控制器有一塊網卡，且與realserver1和realserver2在同一網段)
|__________| | DIP=202.99.59.109 (eth0)
|
-----------------------------------
| |
RIP=202.99.59.108(eth0) RIP=202.99.59.107(eth0)
(VIP=202.99.59.110, lo:0) (VIP=202.99.59.110, lo:0)
____________ ____________
| | | |
|realserver1 | |realserver2 |
|____________| |____________|
2.安裝軟件：
在director(202.99.59.109)上安裝上面的方法安裝內核和管理軟件。
3. 配置LVS
(1)、在202.99.59.109上：
修改內核運行參數，即修改/etc/sysctl.conf文件的內容如下：
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.eth0.send_redirects = 1
然后執行下面的命令是對內核修改的參數立即生效：
sysctl -p
配置VIP地址：
/sbin/ifconfig eth0:0 202.99.59.110 broadcast 202.99.59.110 netmask 255.255.255.255 up
/sbin/route add -host 202.99.59.110 dev eth0:0
清除ipvsadm表:
/sbin/ipvsadm -C
使用ipvsadm安裝LVS服務：
/sbin/ipvsadm -A -t 192.168.1.110:http -s rr
增加realserver：
#forward http to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
(2)在realserver1(202.99.59.108)和realserver2(202.99.59.107)上做下面的設置。
修改內核運行參數，即修改/etc/sysctl.conf文件的內容如下：
net.ipv4.ip_forward = 0
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
然后執行下面的命令是對內核修改的參數立即生效：
sysctl -p
配置VIP地址：
/sbin/ifconfig lo:0 202.99.59.110 broadcast 202.99.59.110 netmask 255.255.255.255 up
/sbin/route add -host 202.99.59.110 dev lo:0
p>在客戶端使用瀏覽器多次訪問：http://202.99.59.110/，然后再202.99.59.110上運行ipvsadm命令，應該有類似下面的輸出：
IP Virtual Server version 1.0.12 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.100.254:http rr
-> 192.168.100.3:http Route 1 0 28
-> 192.168.100.2:http Route 1 0 29
從上面的結果可以看出，我們的LVS服務器已經成功運行。
在面的實例中ipvsadm用到的幾個參數含義如下：
-A 增加一個虛擬服務，該服務由協議、IP地址和端口號組成，例如：
-A -t 202.99.59.110:80 (增加一格虛擬服務，其協議(-t表示tcp，-u表示udp)為TCP、IP為202.99.59.110、端口號為80。
-s 指定服務采用的算法，常用的算法參數如下：
- rr 輪叫（Round Robin）
調度器通過"輪叫"調度算法將外部請求按順序輪流分配到集群中的真實服務器上，它均等地對待每一臺服務 器，而不管服務器上實際的連接數和系統負載。
- wrr 加權輪叫（Weighted Round Robin）
調度器通過"加權輪叫"調度算法根據真實服務器的不同處理能力來調度訪問請求。這樣可以保證處理能力強的服務器處理更多的訪問流量。調度器可以自動問詢真實服務器的負載情況，并動態地調整其權值。
- lc 最少鏈接（Least Connections）
調度器通過"最少連接"調度算法動態地將網絡請求調度到已建立的鏈接數最少的服務器上。如果集群系統的真實服務器具有相近的系統性能，采用"最小連接"調度算法可以較好地均衡負載。
- wlc 加權最少鏈接（Weighted Least Connections）
在集群系統中的服務器性能差異較大的情況下，調度器采用"加權最少鏈接"調度算法優化負載均衡性能，具有較高權值的服務器將承受較大比例的活動連接負載。調度器可以自動問詢真實服務器的負載情況，并動態地調整其權值。
- lblc 基于局部性的最少鏈接（Locality-Based Least Connections）
"基于局部性的最少鏈接" 調度算法是針對目標IP地址的負載均衡，目前主要用于Cache集群系統。該算法根據請求的目標IP地址找出該目標IP地址最近使用的服務器，若該服務器是可用的且沒有超載，將請求發送到該服務器；若服務器不存在，或者該服務器超載且有服務器處于一半的工作負載，則用"最少鏈接"的原則選出一個可用的服務器，將請求發送到該服務器。
- lblcr 帶復制的基于局部性最少鏈接（Locality-Based Least Connections with Replication）
"帶復制的基于局部性最少鏈接"調度算法也是針對目標IP地址的負載均衡，目前主要用于Cache集群系統。它與LBLC算法的不同之處是它要維護從一個目標IP地址到一組服務器的映射，而LBLC算法維護從一個目標IP地址到一臺服務器的映射。該算法根據請求的目標IP地址找出該目標IP地址對應的服務器組，按"最小連接"原則從服務器組中選出一臺服務器，若服務器沒有超載，將請求發送到該服務器，若服務器超載；則按"最小連接"原則從這個集群中選出一臺服務器，將該服務器加入到服務器組中，將請求發送到該服務器。同時，當該服務器組有一段時間沒有被修改，將最忙的服務器從服務器組中刪除，以降低復制的程度。
- dh 目標地址散列（Destination Hashing）
"目標地址散列"調度算法根據請求的目標IP地址，作為散列鍵（Hash Key）從靜態分配的散列表找出對應的服務器，若該服務器是可用的且未超載，將請求發送到該服務器，否則返回空。
- sh 源地址散列（Source Hashing）
"源地址散列"調度算法根據請求的源IP地址，作為散列鍵（Hash Key）從靜態分配的散列表找出對應的服務器，若該服務器是可用的且未超載，將請求發送到該服務器，否則返回空。
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
-a 表示往一個服務內增加一個real server
-r 指定real server的IP地址
-w 表示權重
-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。