lvs調度演算法

① 簡述負載均衡集群中常見的調度演算法及原理（5種以上）

1.LVS負載均衡集群介紹

2. LVS介紹

3. IPVS發展史

4.LVS體系結構與工作原理簡單描述

5.LVS的基本工作過程

6.LVS的三種工作模式：

6.1NAT模式-網路地址轉換

6.2TUN模式

6.3DR模式（直接路由模式）

② U8伺服器參數配置中負載均衡如何設置

網路的負載均衡是一種動態均衡技術，通過一些工具實時地分析數據包，掌握網路中的數據流量狀況，把任務合理均衡地分配出去。這種技術基於現有網路結構，提供了一種擴展伺服器帶寬和增加伺服器吞吐量的廉價有效的方法，加強了網路數據處理能力，提高了網路的靈活性和可用性。

③ 請教：關於LVS負載不均衡的問題

用單機測試是有這種情況（負載均衡的演算法傾向於一個客戶端IP定向到一個後端伺服器，以保持會話連貫性），如果用兩三台機器去測試也許就不一樣。

④ 源地址散列調度與目標地址散列調度的具體應用場景是什麼

DH：
Destinationhashing：目標地址hashing,將某個固定IP的請求轉發給一個相同的real server，主要用於緩存伺服器。
SH：
Sourcehashing：源地址hashing,用於Real serer是防火牆時

⑤ lvssyncdaemonswap腳本在哪兒

keepalived.conf內容說明如下

●全局定義塊
1、email通知。作用：有故障，發郵件報警。
2、Lvs負載均衡器標識（lvs_id）。在一個網路內，它應該是唯一的。
3、花括弧「{}」。用來分隔定義塊，因此必須成對出現。如果寫漏了，keepalived運行時，不會得到預期的結果。由於定義塊內存在嵌套關系，因此很容易遺漏結尾處的花括弧，這點要特別注意。
●VRRP定義塊
1、同步vrrp組vrrp_sync_group。作用：確定失敗切換（FailOver）包含的路由實例個數。即在有2個負載均衡器的場景，一旦某個負載均衡器失效，需要自動切換到另外一個負載均衡器的實例是哪些？
2、實例組group。至少包含一個vrrp實例。
3、Vrrp實例vrrp_instance。實例名出自實例組group所包含的那些名字。
(1) 實例狀態state。只有MASTER和BACKUP兩種狀態，並且需要大寫這些單詞。其中MASTER為工作狀態，BACKUP為備用狀態。當 MASTER所在的伺服器失效時，BACKUP所在的系統會自動把它的狀態有BACKUP變換成MASTER；當失效的MASTER所在的系統恢復 時，BACKUP從MASTER恢復到BACKUP狀態。
(2)通信介面interface。對外提供服務的網路介面，如eth0,eth1.當前主流的伺服器都有2個或2個以上的介面，在選擇服務介面時，一定要核實清楚。
(3)lvs_sync_daemon_inteface。 負載均衡器之間的監控介面，類似於HA HeartBeat的心跳線。但它的機制優於Heartbeat，因為它沒有「裂腦」這個問題，它是以優先順序這個 機制來規避這個麻煩的。在DR模式中，lvs_sync_daemon_inteface 與服務介面interface 使用同一個網路介面。
(4)虛擬路由標識virtual_router_id。這個標識是一個數字，並且同一個vrrp實例使用唯一的標識。即同一個vrrp_stance，MASTER和BACKUP的virtual_router_id是一致的，同時在整個vrrp內是唯一的。
(5)優先順序priority。這是一個數字，數值愈大，優先順序越高。在同一個vrrp_instance里，MASTER 的優先順序高於BACKUP。若MASTER的priority值為150，那麼BACKUP的priority只能是140或更小的數值。
(6)同步通知間隔advert_int。MASTER與BACKUP負載均衡器之間同步檢查的時間間隔，單位為秒。
(7)驗證authentication。包含驗證類型和驗證密碼。類型主要有PASS、AH兩種，通常使用的類型為PASS，據說AH使用時有問題。驗證密碼為明文，同一vrrp實例MASTER與BACKUP 使用相同的密碼才能正常通信。
4、 虛擬ip地址virtual_ipaddress。可以有多個地址，每個地址佔一行，不需要指定子網掩碼。注意：這個ip必須與我們在lvs客戶端設定的vip相一致！
●虛擬伺服器virtual_server定義塊
虛擬伺服器定義是keepalived框架最重要的項目了，是keepalived.conf必不可少的部分。
1、虛擬伺服器virtual_server。這個ip來自於vrrp定義塊的第「4」步，後面一個空格，然後加上埠號。定義一個vip，可以實現多個tcp埠的負載均衡功能。
(1)delay_loop。健康檢查時間間隔，單位是秒。
(2)lb_algo。負載均衡調度演算法，互聯網應用常使用wlc或rr。
(3)lb_kind。負載均衡轉發規則。一般包括DR、NAT、TUN3種，在我的方案中，都使用DR的方式。
(4)persistence_timeout。 會話保持時間，單位是秒。這個選項對動態網站很有用處：當用戶從遠程用帳號進行登陸網站時，有了這個會話保持功能，就能把用戶的請求轉發給同一個應用服務 器。在這里，我們來做一個假設，假定現在有一個lvs 環境，使用DR轉發模式，真實伺服器有3個， 負載均衡器不啟用會話保持功能。當用戶第一次訪問的時候，他的訪問請求被負載均衡器轉給某個真實伺服器，這樣他看到一個登陸頁面，第一次訪問完畢；接著他 在登陸框填寫用戶名和密碼，然後提交；這時候，問題就可能出現了---登陸不能成功。因為沒有會話保持，負載均衡器可能會把第2次的請求轉發到其他的伺服器。
(5)轉發協議protocol。一般有tcp和udp兩種。實話說，我還沒嘗試過udp協議類的轉發。
2、真實伺服器real_server，也即伺服器池。Real_server的值包括ip地址和埠號，多個連續的真實ip。
(1)權重weight，權重值是一個數字，數值越大，權重越高。使用不同的權重值的目的在於為不同性能的機器分配不同的負載，性能較好的機器，負載分擔大些；反之，性能差的機器，則分擔較少的負載，這樣就可以合理的利用不同性能的機器資源。
(2)Tcp檢查tcp_check。

第③版更新內容如下:
每台伺服器都有二塊網卡，分別連接內外網；後端的mysql資料庫與web連接採用內網方式，整個網路環境採用內網；
增加了keepalived.conf語法內容；
刪除了lvs.sh腳本內容，直接讓keepalived內容更直接明了；
lvs主從機上的keepalived.conf文件我直接從生產伺服器上download下來了，可方便大家使用。

※值得注意的是：
1、你必須向你的伺服器所在機房IDC多申請一個IP供VIP使用；多關注/var/log/messages和ipvsadm -ln，利用其有效信息排錯。
2、伺服器的iptables、Selinux均關閉；在生產環境中，我就遇到了iptables的NAT轉發問題，導致了lvs失敗。
3、 keepalived的啟動過程並不會對配置文件進行語法檢查，就算沒有配置文件，keepalived的守護進程照樣能夠被運行起來。在默認狀態下，即 不指定配置文件的位置--keepalived先查找文件/etc/keepalived/keepalived.conf。
4、session的過程默認是以文件的形式存在，在瀏覽器關閉或重啟時刪除；會話保持我建議寫成120秒，如果這個值設置得不合理，用戶將得到非常糟糕的訪問效果。
5、 keepalived是lvs的擴展項目，因此它們之間具備良好的兼容性，這點應該是keepalived部署比其他類似工具能更簡潔的原因 吧，lvs+keepalived目前是一個應用於生產環境的成熟架構，實現了真正意義上的負載均衡高可用，尤其適用於bbs和blog(它們均是訪問頻 繁，用戶量大的對象)，建議熟練掌握。

LVS 演算法說明

LVS的常見八種調度演算法：
一:輪叫調度（Round-Robin Scheling）

輪叫調度（Round Robin Scheling）演算法就是以輪叫的方式依次將請求調度不同的伺服器，即每次調度執行i = (i + 1) mod n，並選出第i台伺服器。演算法的優點是其簡潔性，它無需記錄當前所有連接的狀態，所以它是一種無狀態調度。

二:加權輪叫調度（Weighted Round-Robin Scheling）

加權輪叫調度 （Weighted Round-Robin Scheling）演算法可以解決伺服器間性能不一的情況，它用相應的權值表示伺服器的處理性能，伺服器的預設權值為1。假設伺服器A的權值為1，B的權值為2，則表示伺服器B的處理性能是A的兩倍。加權輪叫調度演算法是按權值的高低和輪叫方式分配請求到各伺服器。權值高的伺服器先收到的連接，權值高的伺服器比權值低的伺服器處理更多的連接，相同權值的伺服器處理相同數目的連接數。

三:最小連接調度（Least-Connection Scheling）

最 小連接調度（Least- Connection Scheling）演算法是把新的連接請求分配到當前連接數最小的伺服器。最小連接調度是一種動態調 度演算法，它通過伺服器當前所活躍的連接數來估計伺服器的負載情況。調度器需要記錄各個伺服器已建立連接的數目，當一個請求被調度到某台伺服器，其連接數加1；當連接中止或超時，其連接數減一。
四:加權最小連接調度（Weighted Least-Connection Scheling）

加權最小連接調 度（Weighted Least-Connection Scheling）演算法是最小連接調度的超集，各個伺服器用相應的權值表示其處理性能。伺服器的預設權值為1，系統管理員可以動態地設置伺服器的權值。加權最小連接調度在調度新連接時盡可能使伺服器的已建立連接數和其權值成比例。

五:基於局部性的最少鏈接（Locality-Based Least Connections Scheling）

基 於局部性的最少鏈接調度（Locality-Based Least Connections Scheling，以下簡稱為LBLC）演算法是針對請 求報文的目標IP地址的負載均衡調度，目前主要用於Cache集群系統，因為在Cache集群中客戶請求報文的目標IP地址是變化的。這里假設任何後端服 務器都可以處理任一請求，演算法的設計目標是在伺服器的負載基本平衡情況下，將相同目標IP地址的請求調度到同一台伺服器，來提高各台伺服器的訪問局部性和 主存Cache命中率，從而整個集群系統的處理能力。LBLC調度演算法先根據請求的目標IP地址找出該目標IP地址最近使用的伺服器，若該伺服器是可用的 且沒有超載，將請求發送到該伺服器；若伺服器不存在，或者該伺服器超載且有伺服器處於其一半的工作負載，則用「最少鏈接」的原則選出一個可用的伺服器，將 請求發送到該伺服器。

六: 帶復制的基於局部性最少鏈接（Locality-Based Least Connections with Replication Scheling）

帶 復制的基於局部性最少鏈接調度（Locality- Based Least Connections with Replication Scheling，以下簡稱為LBLCR）演算法也是針對目標 IP地址的負載均衡，目前主要用於Cache集群系統。它與LBLC演算法的不同之處是它要維護從一個目標IP地址到一組伺服器的映射，而LBLC演算法維護 從一個目標IP地址到一台伺服器的映射。對於一個「熱門」站點的服務請求，一台Cache 伺服器可能會忙不過來處理這些請求。這時，LBLC調度演算法會 從所有的Cache伺服器中按「最小連接」原則選出一台Cache伺服器，映射該「熱門」站點到這台Cache伺服器，很快這台Cache伺服器也會超 載，就會重復上述過程選出新的Cache伺服器。這樣，可能會導致該「熱門」站點的映像會出現在所有的Cache伺服器上，降低了Cache伺服器的使用 效率。LBLCR調度演算法將「熱門」站點映射到一組Cache伺服器（伺服器集合），當該「熱門」站點的請求負載增加時，會增加集合里的Cache服務 器，來處理不斷增長的負載；當該「熱門」站點的請求負載降低時，會減少集合里的Cache伺服器數目。這樣，該「熱門」站點的映像不太可能出現在所有的 Cache伺服器上，從而提供Cache集群系統的使用效率。LBLCR演算法先根據請求的目標IP 地址找出該目標IP地址對應的伺服器組；按「最小連 接」原則從該伺服器組中選出一台伺服器，若伺服器沒有超載，將請求發送到該伺服器；若伺服器超載；則按 「最小連接」原則從整個集群中選出一台伺服器，將 該伺服器加入到伺服器組中，將請求發送到該伺服器。同時，當該伺服器組有一段時間沒有被修改，將最忙的伺服器從伺服器組中刪除，以降低復制的程度。

七:目標地址散列調度（Destination Hashing Scheling）

目 標地址散列調度 （Destination Hashing Scheling）演算法也是針對目標IP地址的負載均衡，但它是一種靜態映射演算法，通過 一個散列（Hash）函數將一個目標IP地址映射到一台伺服器。目標地址散列調度演算法先根據請求的目標IP地址，作為散列鍵（Hash Key）從靜態分 配的散列表找出對應的伺服器，若該伺服器是可用的且未超載，將請求發送到該伺服器，否則返回空。

八:源地址散列調度（Source Hashing Scheling）

源 地址散列調度（Source Hashing Scheling）演算法正好與目標地址散列調度演算法相反，它根據請求的源IP地址，作為散列鍵 （Hash Key）從靜態分配的散列表找出對應的伺服器，若該伺服器是可用的且未超載，將請求發送到該伺服器，否則返回空。它採用的散列函數與目標地址 散列調度演算法的相同。它的演算法流程與目標地址散列調度演算法的基本相似，除了將請求的目標IP地址換成請求的源IP地址，所以這里不一一敘述。在實際應用 中，源地址散列調度和目標地址散列調度可以結合使用在防火牆集群中，它們可以保證整個系統的唯一出入口。

⑥ 大家企業中lvs都是用什麼調度演算法

看原理，適用什麼場合吧。畢竟調度演算法有10種之多。一般是rr/wrr/wlc/lc什麼的。

⑦ 求集群管理的相關知識！

集群技術案例介紹和具體操作

集群技術案例介紹和具體操作
中國科學院西安網路中心 中科紅旗linux培訓認證中心
集群技術
1.1 什麼是集群
簡單的說，集群（cluster）就是一組計算機，它們作為一個整體向用戶提
供一組網路資源。這些單個的計算機系統就是集群的節點（node）。一個理想的
集群是，用戶從來不會意識到集群系統底層的節點，在他/她們看來，集群是一
個系統，而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群
系統的節點。
1.2 為什麼需要集群
集群並不是一個全新的概念，其實早在七十年代計算機廠商和研究機構就
開始了對集群系統的研究和開發。由於主要用於科學工程計算，所以這些系統並
不為大家所熟知。直到Linux集群的出現，集群的概念才得以廣為傳播。
對集群的研究起源於集群系統良好的性能可擴展性(scalability)。提高CPU
主頻和匯流排帶寬是最初提供計算機性能的主要手段。但是這一手段對系統性能的
提供是有限的。接著人們通過增加CPU個數和內存容量來提高性能，於是出現了
向量機，對稱多處理機(SMP)等。但是當CPU的個數超過某一閾值，象SMP這些
多處理機系統的可擴展性就變的極差。主要瓶頸在於CPU訪問內存的帶寬並不能
隨著CPU個數的增加而有效增長。與SMP相反，集群系統的性能隨著CPU個數的
增加幾乎是線性變化的。圖1顯示了這中情況。
圖1. 幾種計算機系統的可擴展性
對於關鍵業務，停機通常是災難性的。因為停機帶來的損失也是巨大的。下
面的統計數字列舉了不同類型企業應用系統停機所帶來的損失。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
應用系統每分鍾損失(美元)
呼叫中心(Call Center) 27000
企業資源計劃(ERP)系統13000
供應鏈管理(SCM)系統11000
電子商務(eCommerce)系統10000
客戶服務(Customer Service Center)系統27000
圖2：停機給企業帶來的損失
隨著企業越來越依賴於信息技術，由於系統停機而帶來的損失也越拉越大。
集群系統的優點並不僅在於此。下面列舉了集群系統的主要優點：
高可擴展性：如上所述。
高可用性：集群中的一個節點失效，它的任務可傳遞給其他節點。可以有效防止單點失效。
高性能：負載平衡集群允許系統同時接入更多的用戶。
高性價比：可以採用廉價的符合工業標準的硬體構造高性能的系統。
2.1 集群系統的分類
雖然，根據集群系統的不同特徵可以有多種分類方法，但是一般把集群系統分為兩類：
（1）、高可用(High Availability)集群,簡稱HA集群。
這類集群致力於提供高度可靠的服務。就是利用集群系統的容錯性對外提供7*24小時不間
斷的服務，如高可用的文件伺服器、資料庫服務等關鍵應用。
目前已經有在Linux下的高可用集群，如Linux HA項目。
負載均衡集群：使任務可以在集群中盡可能平均地分攤不同的計算機進行處理，充分利
用集群的處理能力，提高對任務的處理效率。
在實際應用中這幾種集群類型可能會混合使用，以提供更加高效穩定的服務。如在一個使
用的網路流量負載均衡集群中，就會包含高可用的網路文件系統、高可用的網路服務。
（2）、性能計算(High Perfermance Computing)集群，簡稱HPC集群，也稱為科學計算
集群。
在這種集群上運行的是專門開發的並行應用程序，它可以把一個問題的數據分布到多
台的計算機上，利用這些計算機的共同資源來完成計算任務，從而可以解決單機不能勝任
的工作（如問題規模太大，單機計算速度太慢）。
這類集群致力於提供單個計算機所不能提供的強大的計算能力。如天氣預報、石油勘探與油
藏模擬、分子模擬、生物計算等。這些應用通常在並行通訊環境MPI、PVM等中開發，由於MPI
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
是目前的標准，故現在多使用MPI為並行環境。
比較有名的集群Beowulf就是一種科學計算集群項目。
3、集群系統轉發方式和調度演算法
3．1轉發方式
目前LVS主要有三種請求轉發方式和八種調度演算法。根據請求轉發方式的不同，所構
架集群的網路拓撲、安裝方式、性能表現也各不相同。用LVS主要可以架構三種形式的集群，
分別是LVS/NAT、LVS/TUN和LVS/DR，可以根據需要選擇其中一種。
（1）、網路地址轉換（LVS/NAT）
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
（2）、直接路由
（3）、IP隧道
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
三種轉發方式的比較：
3．2、調度演算法
在選定轉發方式的情況下，採用哪種調度演算法將決定整個負載均衡的性能表現，不同
的演算法適用於不同的應用場合，有時可能需要針對特殊場合，自行設計調度演算法。LVS的算
法是逐漸豐富起來的，最初LVS只提供4種調度演算法，後來發展到以下八種：
1.輪叫調度（Round Robin）
調度器通過「輪叫」調度演算法將外部請求按順序輪流分配到集群中的真實伺服器上，它均
等地對待每一台伺服器，而不管伺服器上實際的連接數和系統負載。
2.加權輪叫（Weighted Round Robin）
調度器通過「加權輪叫」調度演算法根據真實伺服器的不同處理能力來調度訪問請求。這樣
可以保證處理能力強的伺服器能處理更多的訪問流量。調度器可以自動詢問真實伺服器的
負載情況，並動態地調整其權值。
3.最少鏈接（Least Connections）
調度器通過「最少連接」調度演算法動態地將網路請求調度到已建立的鏈接數最少的伺服器
上。如果集群系統的真實伺服器具有相近的系統性能，採用「最小連接」調度演算法可以較
好地均衡負載。
4.加權最少鏈接（Weighted Least Connections）
在集群系統中的伺服器性能差異較大的情況下，調度器採用「加權最少鏈接」調度演算法優
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
化負載均衡性能，具有較高權值的伺服器將承受較大比例的活動連接負載。調度器可以自
動詢問真實伺服器的負載情況，並動態地調整其權值。
5.基於局部性的最少鏈接（Locality-Based Least Connections）
「基於局部性的最少鏈接」調度演算法是針對目標IP地址的負載均衡，目前主要用於Cache
集群系統。該演算法根據請求的目標IP地址找出該目標IP地址最近使用的伺服器，若該服務
器是可用的且沒有超載，將請求發送到該伺服器；若伺服器不存在，或者該伺服器超載且
有伺服器處於一半的工作負載，則用「最少鏈接」的原則選出一個可用的伺服器，將請求
發送到該伺服器。
6. 帶復制的基於局部性最少鏈接（ Locality-Based Least Connections with
Replication）
「帶復制的基於局部性最少鏈接」調度演算法也是針對目標IP地址的負載均衡，目前主要
用於Cache集群系統。它與LBLC演算法的不同之處是它要維護從一個目標IP地址到一組服務
器的映射，而LBLC演算法維護從一個目標IP地址到一台伺服器的映射。該演算法根據請求的目
標IP地址找出該目標IP地址對應的伺服器組，按「最小連接」原則從伺服器組中選出一
台伺服器，若伺服器沒有超載，將請求發送到該伺服器；若伺服器超載，則按「最小連接
」原則從這個集群中選出一台伺服器，將該伺服器加入到伺服器組中，將請求發送到該服
務器。同時，當該伺服器組有一段時間沒有被修改，將最忙的伺服器從伺服器組中刪除，
以降低復制的程度。
7.目標地址散列（Destination Hashing）
「目標地址散列」調度演算法根據請求的目標IP地址，作為散列鍵（Hash Key）從靜態分
配的散列表找出對應的伺服器，若該伺服器是可用的且未超載，將請求發送到該伺服器，
否則返回空。
8.源地址散列（Source Hashing）
「源地址散列」調度演算法根據請求的源IP地址，作為散列鍵（Hash Key）從靜態分配的
散列表找出對應的伺服器，若該伺服器是可用的且未超載，將請求發送到該伺服器，否則
返回空。
了解這些演算法原理能夠在特定的應用場合選擇最適合的調度演算法，從而盡可能地保持
Real Server的最佳利用性。當然也可以自行開發演算法，不過這已超出本文范圍，請參考有
關演算法原理的資料。
4．1、什麼是高可用性
計算機系統的可用性(availability)是通過系統的可靠性(reliability)和可維護性
(maintainability)來度量的。工程上通常用平均無故障時間(MTTF)來度量系統的可靠性，
用平均維修時間（MTTR）來度量系統的可維護性。於是可用性被定義為：
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
MTTF/(MTTF+MTTR)*100%
業界根據可用性把計算機系統分為如下幾類：
可用比例
(Percent
Availability)
年停機時間
(downtime/year
)
可用性分類
99.5 3.7天
常規系統
(Conventional)
99.9 8.8小時可用系統(Available)
99.99 52.6分鍾
高可用系統(Highly
Available)
99.999 5.3分鍾Fault Resilient
99.9999 32秒Fault Tolerant
為了實現集群系統的高可用性，提高系統的高可性，需要在集群中建立冗餘機制。一個功
能全面的集群機構如下圖所示
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
負載均衡伺服器的高可用性
為了屏蔽負載均衡伺服器的失效，需要建立一個備份機。主伺服器和備份機上都運行
High Availability監控程序，通過傳送諸如「I am alive」這樣的信息來監控對方的運
行狀況。當備份機不能在一定的時間內收到這樣的信息時，它就接管主伺服器的服務IP並
繼續提供服務；當備份管理器又從主管理器收到「I am alive」這樣的信息是，它就釋放
服務IP地址，這樣的主管理器就開開始再次進行集群管理的工作了。為在住伺服器失效的
情況下系統能正常工作，我們在主、備份機之間實現負載集群系統配置信息的同步與備份，
保持二者系統的基本一致。
HA的容錯備援運作過程
自動偵測(Auto-Detect)階段 由主機上的軟體通過冗餘偵測線，經由復雜的監聽程序。邏
輯判斷，來相互偵測對方運行的情況，所檢查的項目有：
主機硬體(CPU和周邊)
主機網路
主機操作系統
資料庫引擎及其它應用程序
主機與磁碟陣列連線
為確保偵測的正確性，而防止錯誤的判斷，可設定安全偵測時間，包括偵測時間間隔，
偵測次數以調整安全系數，並且由主機的冗餘通信連線，將所匯集的訊息記錄下來，以供
維護參考。
自動切換(Auto-Switch)階段 某一主機如果確認對方故障，則正常主機除繼續進行原來的
任務，還將依據各種容錯備援模式接管預先設定的備援作業程序，並進行後續的程序及服
務。
自動恢復(Auto-Recovery)階段 在正常主機代替故障主機工作後，故障主機可離線進行修
復工作。在故障主機修復後，透過冗餘通訊線與原正常主機連線，自動切換回修復完成的
主機上。整個回復過程完成由EDI-HA自動完成，亦可依據預先配置，選擇回復動作為半自
動或不回復。
4．2、HA三種工作方式：
（1）、主從方式 （非對稱方式）
工作原理：主機工作，備機處於監控准備狀況；當主機宕機時，備機接管主機的一切工作，
待主機恢復正常後，按使用者的設定以自動或手動方式將服務切換到主機上運行，數據的
一致性通過共享存儲系統解決。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
（2）、雙機雙工方式（互備互援）
工作原理：兩台主機同時運行各自的服務工作且相互監測情況，當任一台主機宕機時，另
一台主機立即接管它的一切工作，保證工作實時，應用服務系統的關鍵數據存放在共享存
儲系統中。
（3）、集群工作方式（多伺服器互備方式）
工作原理：多台主機一起工作，各自運行一個或幾個服務，各為服務定義一個或多個備用
主機，當某個主機故障時，運行在其上的服務就可以被其它主機接管。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
相關文檔
http://tech.sina.com.cn/it/2004-04-09/1505346805.shtml
http://stonesoup.esd.ornl.gov
LINUX下的集群實列應用
最近有客戶需要一個負載均衡方案，筆者對各種軟硬體的負載均衡方案進行了調查和
比較，從IBM sServer Cluster、Sun Cluster PlatForm 等硬體集群，到中軟、紅旗、
TurboLinux的軟體集群，發現無論採用哪個廠商的負載均衡產品其價格都是該客戶目前所
不能接受的。於是筆者想到了開放源項目Linux Virtual Server(簡稱LVS)。經過對LVS的研
究和實驗，終於在Red Hat 9.0上用LVS成功地構架了一組負載均衡的集群系統。整個實
現過程整理收錄如下，供讀者參考。
選用的LVS實際上是一種Linux操作系統上基於IP層的負載均衡調度技術，它在操
作系統核心層上，將來自IP層的TCP/UDP請求均衡地轉移到不同的伺服器，從而將一組
伺服器構成一個高性能、高可用的虛擬伺服器。使用三台機器就可以用LVS實現最簡單的集
群，如圖1所示。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
圖1 LVS實現集群系統結構簡圖
圖1顯示一台名為Director的機器在集群前端做負載分配工作；後端兩台機器稱之為
Real Server，專門負責處理Director分配來的外界請求。該集群的核心是前端的Director
機器，LVS就是安裝在這台機器上，它必須安裝Linux。Real Server則要根據其選用的負
載分配方式而定，通常Real Server上的設置比較少。接下來介紹Director機器上LVS的
安裝過程。
安裝
LVS的安裝主要是在Director機器上進行，Real Server只需針對不同的轉發方式做簡單
的設定即可。特別是對LVS的NAT方式，Real Server惟一要做的就是設一下預設的網關。
所以構架集群的第一步從安裝Director機器開始。
首先，要在Director機器上安裝一個Linux操作系統。雖然早期的一些Red Hat版本，
如6.2、7.2、8.0等自帶Red Hat自己的集群軟體，或者是在內核中已經支持LVS，但是為
了更清楚地了解LVS的機制，筆者還是選擇自行將LVS編入Linux內核的方式進行安裝，
Linux版本採用Red Hat 9.0。
如果用戶對Red Hat的安裝比較了解，可以選擇定製安裝，並只安裝必要的軟體包。
安裝中請選擇GRUB 做為啟動引導管理軟體。因為GRUB 在系統引導方面的功能遠比
LILO強大，在編譯Linux內核時可以體會它的方便之處。
LVS是在Linux內核中實現的，所以要對原有的Linux內核打上支持LVS的內核補丁，
然後重新編譯內核。支持LVS 的內核補丁可以從LVS 的官方網
http://www.linuxvirtualserver.org 下載，下載時請注意使用的Linux核心版本，必須下載和
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
使用的Linux內核版本相一致的LVS內核補丁才行。對於Red Hat 9.0，其Linux內核版本
是2.4.20，所以對應內核補丁應該是http://www.linuxvirtualserver.org/software/kernel-
2.4/linux-2.4.20-ipvs-1.0.9.patch.gz。筆者經過多次實驗，使用Red Hat 9.0自帶的Linux
源代碼無法成功編譯LVS 的相關模組。由於時間關系筆者沒有仔細研究，而是另外從
kernel.org上下載了一個tar包格式的2.4.20內核來進行安裝，順利完成所有編譯。下面是
整個內核的編譯過程：
1.刪除Red Hat自帶的Linux源代碼
# cd /usr/src
# rm -rf linux*
2.下載2.4.20內核
# cd /usr/src
# wget ftp://ftp.kernel.org/pub/linux/kernel/v2.4/linux-2.4.20.tar.bz2
3.解壓到當前目錄/usr/src
# cd /usr/src
# tar -xjpvf linux-2.4.20.tar.bz2
4.建立鏈接文件
# cd /usr/src # ln -s linux-2.4.20 linux-2.4 # ln -s linux-2.4.20 linux
5.打上LVS的內核補丁
# cd /usr/src
#wget http://www.linuxvirtualserver.org/software/kernel-2.4/linux-2.4.20-ipvs-
1.0.9.patch.gz
# gzip -cd linux-2.4.20-ipvs-1.0.9.patch.gz
# cd /usr/src/linux
# patch -p1 < ../linux-2.4.20-ipvs-1.0.9.patch
在打補丁時，注意命令執行後的信息，不能有任何錯誤信息，否則核心或模組很可能
無法成功編譯。
6.打上修正ARP問題的內核補丁
# cd /usr/src
# wget http://www.ssi.bg/~ja/hidden-2.4.20pre10-1.diff
# cd /usr/src/linux
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
# patch -p1 < ../hidden-2.4.20pre10-1.diff
這一步在Director機器上可以不做，但是在使用LVS/TUN和LVS/DR方式的Real Server
上必須做。
7.為新核心命名
打開/usr/src/linux/Makefile。注意，在開始部分有一個變數EXTRAVERSION可以自行定
義。修改這個變數，比如改成「EXTRAVERSION=-LVS」後，編譯出的核心版本號就會顯
示成2.4.20-LVS。這樣給出有含義的名稱將有助於管理多個Linux核心。
8.檢查源代碼
# make mrproper
這一步是為確保源代碼目錄下沒有不正確的.o文件及文件的互相依賴。因為是新下載的內
核，所以在第一次編譯時，這一步實際可以省略。
9.配置核心選項
# make menuconfig
命令執行後會進入一個圖形化的配置界面，可以通過這個友好的圖形界面對內核進行定製。
此過程中，要注意對硬體驅動的選擇。Linux支持豐富的硬體，但對於伺服器而言，用不到
的硬體驅動都可以刪除。另外，像Multimedia devices、Sound、Bluetooth support、Amateur
Radio support等項也可以刪除。
注意，以下幾項配置對LVS非常重要，請確保作出正確的選擇：
(1)Code maturity level options項
對此項只有以下一個子選項，請選中為*，即編譯到內核中去。
Prompt for development and/or incomplete code/drivers
(2)Networking options項
對此項的選擇可以參考以下的配置，如果不清楚含義可以查看幫助：
<*> Packet socket
[ ] Packet socket: mmapped IO
< > Netlink device emulation
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
Network packet filtering (replaces ipchains)
[ ] Network packet filtering debugging
Socket Filtering
<*> Unix domain sockets
TCP/IP networking
IP: multicasting
IP: advanced router
IP: policy routing
[ ] IP: use netfilter MARK value as routing key
[ ] IP: fast network address translation
<M> IP: tunneling
IP: broadcast GRE over IP
[ ] IP: multicast routing
[ ] IP: ARP daemon support (EXPERIMENTAL)
[ ] IP: TCP Explicit Congestion Notification support
[ ] IP: TCP syncookie support (disabled per default)
IP: Netfilter Configuration --->
IP: Virtual Server Configuration --->
(3)Networking options項中的IP: Virtual Server Configuration項
如果打好了LVS的內核補丁，就會出現此選項。進入Virtual Server Configuration選項，
有以下子選項：
<M> virtual server support (EXPERIMENTAL)
IP virtual server debugging
(12) IPVS connection table size (the Nth power of 2)
--- IPVS scheler
<M> round-robin scheling
<M> weighted round-robin scheling
<M> least-connection scheling scheling
<M> weighted least-connection scheling
<M> locality-based least-connection scheling
<M> locality-based least-connection with replication scheling
<M> destination hashing scheling
<M> source hashing scheling
<M> shortest expected delay scheling
<M> never queue scheling
--- IPVS application helper
<M> FTP protocol helper
以上所有項建議全部選擇。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(4)Networking options項中的IP: Netfilter Configuration項
對於2.4版本以上的Linux Kernel來說，iptables是取代早期ipfwadm和ipchains的
更好選擇，所以除非有特殊情況需要用到對ipchains和ipfwadm的支持，否則就不要選它。
本文在LVS/NAT方式中，使用的就是iptables，故這里不選擇對ipchains和ipfwadm的
支持：
< > ipchains (2.2-style) support
< > ipfwadm (2.0-style) support
10. 編譯內核
(1)檢查依賴關系
# make dep
確保關鍵文件在正確的路徑上。
(2)清除中間文件
# make clean
確保所有文件都處於最新的版本狀態下。
(3)編譯新核心
# make bzImage
(4)編譯模組
# make moles
編譯選擇的模組。
(5)安裝模組
# make moles_install
# depmod -a
生成模組間的依賴關系，以便modprobe定位。
(6)使用新模組
# cp System.map /boot/System.map-2.4.20-LVS
# rm /boot/System.map
# ln -s /boot/System.map-2.4.20-LVS /boot/System.map
# cp arch/i386/boot/bzImage /boot/vmlinuz-2.4.20-LVS
# rm /boot/vmlinuz
# ln -s /boot/vmlinuz-2.4.20-LVS /boot/vmlinuz
# new-kernel-pkg --install --mkinitrd --depmod 2.4.20-LVS
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(7)修改GRUB，以新的核心啟動
執行完new-kernel-pkg命令後，GRUB的設置文件/etc/grub.conf中已經增加了新核心的
啟動項，這正是開始安裝Linux時推薦使用GRUB做引導程序的原因。
grub.conf中新增內容如下：
title Red Hat Linux (2.4.20-LVS)
root (hd0,0)
kernel /boot/vmlinuz-2.4.20LVS ro root=LABEL=/
initrd /boot/initrd-2.4.20LVS.img
將Kernel項中的root=LABEL=/改成 root=/dev/sda1 (這里的/dev/sda1是筆者Linux的根
分區，讀者可根據自己的情況進行不同設置）。
保存修改後，重新啟動系統:
# reboot
系統啟動後，在GRUB的界面上會出現Red Hat Linux(2.4.20-LVS)項。這就是剛才編譯的
支持LVS的新核心，選擇此項啟動，看看啟動過程是否有錯誤發生。如果正常啟動，ipvs
將作為模塊載入。同時應該注意到，用LVS的內核啟動後在/proc目錄中新增了一些文件，
比如/proc/sys/net/ipv4/vs/*。
11.安裝IP虛擬伺服器軟體ipvsadm
用支持LVS的內核啟動後，即可安裝IP虛擬伺服器軟體ipvsadm了。用戶可以用tar包或
RPM 包安裝，tar 包可以從以下地址http://www.linuxvirtualserver.org/software/kernel-
2.4/ipvsadm-1.21.tar.gz 下載進行安裝。
這里採用源RPM包來進行安裝：
# wget http://www.linuxvirtualserver.org/software/kernel-2.4/ipvsadm-1.21-7.src.rpm
# rpmbuild --rebuild ipvsadm-1.21-7.src.rpm
# rpm -ivh /usr/src/redhat/RPMS/i386/ipvsadm-1.21-7.i386.rpm
注意：高版本的rpm命令去掉了--rebuild這個參數選項，但提供了一個rpmbuild命令來實
現它。這一點和以前在Red Hat 6.2中以rpm—rebuild XXX.src.rpm來安裝源RPM包的習
慣做法有所不同。
安裝完，執行ipvsadm命令，應該有類似如下的信息出現：
# ipvsadm
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
出現類似以上信息，表明支持LVS 的內核和配置工具ipvsadm 已完全安裝，這台
Director機器已經初步安裝完成，已具備構架各種方式的集群的條件。
實例
理解了上述關於請求轉發方式和調度演算法的基本概念後，就可以運用LVS來具體實現
幾種不同方式的負載均衡的集群系統。LVS的配置是通過前面所安裝的IP虛擬伺服器軟體
ipvsadm來實現的。ipvsadm與LVS的關系類似於iptables和NetFilter的關系，前者只是
一個建立和修改規則的工具，這些命令的作用在系統重新啟動後就消失了，所以應該將這
些命令寫到一個腳本里，然後讓它在系統啟動後自動執行。網上有不少配置LVS的工具，
有的甚至可以自動生成腳本。但是自己手工編寫有助於更深入地了解，所以本文的安裝沒
有利用其它第三方提供的腳本，而是純粹使用ipvsadm命令來配置。
下面就介紹一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的負載均衡集群。
1.設定LVS/NAT方式的負載均衡集群
NAT是指Network Address Translation，它的轉發流程是：Director機器收到外界請求，
改寫數據包的目標地址，按相應的調度演算法將其發送到相應Real Server上，Real Server
處理完該請求後，將結果數據包返回到其默認網關，即Director機器上，Dire

⑧ 如何配置Web伺服器實現負載均衡

網路的負載均衡是一種動態均衡技術，通過一些工具實時地分析數據包，掌握網路中的數據流量狀況，把任務合理均衡地分配出去。這種技術基於現有網路結構，提供了一種擴展伺服器帶寬和增加伺服器吞吐量的廉價有效的方法，加強了網路數據處理能力，提高了網路的靈活性和可用性。

以四台伺服器為例實現負載均衡：

安裝配置LVS

1. 安裝前准備：

(1)首先說明，LVS並不要求集群中的伺服器規格劃一，相反，可以根據伺服器的不同配置和負載狀況，調整負載分配策略，充分利用集群環境中的每一台伺服器。如下表：

Srv Eth0 Eth0：0 Eth1 Eth1：0

vs1 10.0.0.1 10.0.0.2 192.168.10.1 192.168.10.254

vsbak 10.0.0.3 192.168.10.102

real1 192.168.10.100

real2 192.168.10.101

其中，10.0.0.2是允許用戶訪問的IP。

(2)這4台伺服器中，vs1作為虛擬伺服器(即負載平衡伺服器)，負責將用戶的訪問請求轉發到集群內部的real1，real2，然後由real1，real2分別處理。
Client為客戶端測試機器，可以為任意操作系統。

(3)所有OS為redhat6.2，其中vs1 和vsbak 的核心是2.2.19， 而且patch過ipvs的包， 所有real
server的Subnet mask 都是24位， vs1和vsbak 的10.0.0. 網段是24 位。

2.理解LVS中的相關術語

(1) ipvsadm ：ipvsadm是LVS的一個用戶界面。在負載均衡器上編譯、安裝ipvsadm。

(2) 調度演算法： LVS的負載均衡器有以下幾種調度規則：Round-robin，簡稱rr;weighted
Round-robin，簡稱wrr;每個新的連接被輪流指派到每個物理伺服器。Least-connected，簡稱lc;weighted
Least-connected，簡稱wlc，每個新的連接被分配到負擔最小的伺服器。

(3) Persistent client
connection，簡稱pcc，(持續的客戶端連接，內核2.2.10版以後才支持)。所有來自同一個IP的客戶端將一直連接到同一個物理伺服器。超時時間被設置為360秒。Pcc是為https和cookie服務設置的。在這處調度規則下，第一次連接後，所有以後來自相同客戶端的連接(包括來自其它埠)將會發送到相同的物理伺服器。但這也會帶來一個問題，因為大約有25%的Internet
可能具有相同的IP地址。

(4) Persistent port
connection調度演算法：在內核2.2.12版以後，pcc功能已從一個調度演算法(你可以選擇不同的調度演算法：rr、wrr、lc、wlc、pcc)演變成為了一個開關選項(你可以讓rr、
wrr、lc、wlc具備pcc的屬性)。在設置時，如果你沒有選擇調度演算法時，ipvsadm將默認為wlc演算法。 在Persistent port
connection(ppc)演算法下，連接的指派是基於埠的，例如，來自相同終端的80埠與443埠的請求，將被分配到不同的物理伺服器上。不幸的是，如果你需要在的網站上採用cookies時將出問題，因為http是使用80埠，然而cookies需要使用443埠，這種方法下，很可能會出現cookies不正常的情況。

(5)Load Node Feature of Linux Director：讓Load balancer 也可以處理users 請求。

(6)IPVS connection synchronization。

(7)ARP Problem of LVS/TUN and LVS/DR：這個問題只在LVS/DR，LVS/TUN 時存在。

3. 配置實例

(1) 需要的軟體包和包的安裝：

I. piranha-gui-0.4.12-2*.rpm (GUI介面cluster設定工具);

II. piranha-0.4.12-2*.rpm;

III. ipchains-1.3.9-6lp*.rpm (架設NAT)。

取得套件或mount到光碟，進入RPMS目錄進行安裝:

# rpm -Uvh piranha*

# rpm -Uvh ipchains*

(2) real server群：

真正提供服務的server(如web
server)，在NAT形式下是以內部虛擬網域的形式，設定如同一般虛擬網域中Client端使用網域：192.168.10.0/24
架設方式同一般使用虛擬IP之區域網絡。

a. 設網卡IP

real1 ：192.168.10.100/24

real2 ：192.168.10.101/24

b.每台server均將default gateway指向192.168.10.254。
192.168.10.254為該網域唯一對外之信道，設定在virtual server上，使該網域進出均需通過virtual server 。

c.每台server均開啟httpd功能供web server服務，可以在各real server上放置不同內容之網頁，可由瀏覽器觀察其對各real
server讀取網頁的情形。

d.每台server都開啟rstatd、sshd、rwalld、ruser、rsh、rsync，並且從Vserver上面拿到相同的lvs.conf文件。

(3) virtual server：

作用在導引封包的對外主機，專職負責封包的轉送，不提供服務，但因為在NAT型式下必須對進出封包進行改寫，所以負擔亦重。

a.IP設置：

對外eth0：IP：10.0.0.1 eth0：0 ：10.0.0.2

對內eth1：192.168.10.1 eth1：0 ：192.168.10.254

NAT形式下僅virtual server有真實IP，real server群則為透過virtual server.

b.設定NAT功能

# echo 1 >; /proc/sys/net/ipv4/ip_forward

# echo 1 >; /proc/sys/net/ipv4/ip_always_defrag

# ipchains -P forward MASQ

c.設定piranha 進入X-window中 (也可以直接編輯/etc/lvs.cf )

a).執行面板系統piranha

b).設定「整體配置」(Global Settings) 主LVS伺服器主機IP：10.0.0.2， 選定網路地址翻譯(預設) NAT路徑名稱：
192.168.10.254， NAT 路徑裝置： eth1：0

c).設定虛擬伺服器(Virtual Servers) 添加編輯虛擬伺服器部分：(Virtual
Server)名稱：(任意取名);應用：http;協議： tcp;連接：80;地址：10.0..0.2;裝置：eth0：0; 重入時間：180
(預設);服務延時：10 (預設);載入監控工具：ruptime (預設);調度策略：Weighted least-connections; 持續性：0
(預設); 持續性屏蔽： 255.255.255.255 (預設); 按下激活：實時伺服器部分：(Real Servers); 添加編輯：名字：(任意取名);
地址： 192.168.10.100; 權重：1 (預設) 按下激活

另一架real server同上，地址：192.168.10.101。

d). 控制/監控(Controls/Monitoring)
控制：piranha功能的激活與停止，上述內容設定完成後即可按開始鍵激活piranha.監控器：顯示ipvsadm設定之routing table內容
可立即更新或定時更新。

(4)備援主機的設定(HA)

單一virtual server的cluster架構virtual server 負擔較大，提供另一主機擔任備援，可避免virtual
server的故障而使對外服務工作終止;備份主機隨時處於預備狀態與virtual server相互偵測

a.備份主機：

eth0： IP 10.0.0.3

eth1： IP 192.168.10.102 同樣需安裝piranha，ipvsadm，ipchains等套件

b.開啟NAT功能(同上面所述)。

c.在virtual server(10.0.0.2)主機上設定。

a).執行piranha冗餘度 ;

b).按下「激活冗餘度」;

冗餘LVS伺服器IP： 10.0.0.3;HEARTBEAT間隔(秒數)： 2 (預設)

假定在…秒後進入DEAD狀態： 5 (預設);HEARTBEAT連接埠： 539 (預設)

c).按下「套用」;

d).至「控制/監控」頁，按下「在當前執行層添加PULSE DEAMON」 ，按下「開始」;

e).在監控器按下「自動更新」，這樣可由窗口中看到ipvsadm所設定的routing table，並且動態顯示real
server聯機情形，若real server故障，該主機亦會從監視窗口中消失。

d.激活備份主機之pulse daemon (執行# /etc/rc.d/init.d/pulse start)。

至此，HA功能已經激活，備份主機及virtual server由pulse daemon定時相互探詢，一但virtual
server故障，備份主機立刻激活代替;至virtual server 正常上線後隨即將工作交還virtual server。

LVS測試

經過了上面的配置步驟，現在可以測試LVS了，步驟如下：

1. 分別在vs1，real1，real2上運行/etc/lvs/rc.lvs_dr。注意，real1，real2上面的/etc/lvs
目錄是vs2輸出的。如果您的NFS配置沒有成功，也可以把vs1上/etc/lvs/rc.lvs_dr復制到real1，real2上，然後分別運行。確保real1，real2上面的apache已經啟動並且允許telnet。

2. 測試Telnet：從client運行telnet 10.0.0.2，
如果登錄後看到如下輸出就說明集群已經開始工作了：(假設以guest用戶身份登錄)

[guest@real1 guest]$——說明已經登錄到伺服器real1上。

再開啟一個telnet窗口，登錄後會發現系統提示變為：

[guest@real2 guest]$——說明已經登錄到伺服器real2上。

3. 測試http：從client運行iexplore http://10.0.0.2

因為在real1 和real2 上面的測試頁不同，所以登錄幾次之後，顯示出的頁面也會有所不同，這樣說明real server 已經在正常工作了。