9台伺服器集群搭建

⑴ 急問如何配置PXE無盤網路

if%HWA%==00E04C42AFD9GOTOpxeb網卡號為B配置的網卡號,注意HWA

大寫,其中等號為雙等號

gotoend

:pxeb注意前面有冒號

setshare=pxeB

:end

將修改好的啟動軟盤，在伺服器上重作映象。

對於使用3COMDABS軟體製作的PXE無盤網路則更加方便，可以在伺服器端直接打開無盤工作站的啟動映象文件，進入Winboot目錄，打開startnet.bat文件修改即可。

以上為兩種配置工作站的修改，若有兩種以上，則相應的語作些調整，例如四種配置可以改為：

lhqualcnxLNGUESTLNGUEST

call%TEMP%username.bat

if%HWA%==00E04C39414FGOTOpxeb（這是第二種配置）

if%HWA%==00E04C42AFD9GOTOpxeb（這是第二種配置）

if%HWA%==001234567890GOTOpxec（這是第三種配置）

if%HWA%==009787878788GOTOpxec（這是第三種配置）

if%HWA%==008787878333GOTOpxed（這是第四種配置）

if%HWA%==008888888888GOTOpxed（這是第四種配置）

gotoend

:pxeb

setshare=pxeb

gotoend

:pxec

setshare=pxec

gotoend

:pxed

setshare=pxed

gotoend

:end

當工作站配置較少時，可以採用以上方法解決，如果工作站的配置種類很多是則相當的煩瑣，且大量浪費伺服器的硬碟空間，管理也不方便。本叢書《無盤網路完全掌握-基礎篇》第4章中介紹的PNP無盤技術針對多種不同工作站配置作詳細介紹。

5多台PXE伺服器的集群

所謂多伺服器集群，指的是在一個無盤網路中有多個文件伺服器分擔數據流量，在PXE無盤網路中，安裝多個伺服器可行的，但其流量無法控制，因為多個伺服器都要安裝DHCP服務，所以無盤PXE工作站的啟動映像的獲得是隨機的，這次可能從這台伺服器獲得，下次可能從那台伺服器上獲得，而且有可能大多數工作站都連接到了一個伺服器上，這樣根本無法實現多伺服器集群。哪么讀者可能會這樣想，兩個伺服器做成兩個無盤網路不就可以了嗎？是的，在一般的教學網，或是不需要上網際網路時，完全可以這樣作，但如果只有一個條上網線路，多個PXE無盤網路要求同時上網，這時只將兩個網路合在一起才能共線上網。單台伺服器的帶負荷能力是有限的，當工作站一多，其速度和穩定性將會受到很大的影響，使用多台伺服器可以徹底解決這些問題，但也由此引發了一些新的問題，主要有：DHCP分配IP沖突、伺服器流量控制、共享上網代理伺服器設置等。總的原則是根據上網際網路專線條數（或拔號上網的線路數）決定做成幾個無盤網路，當然上網際網路只是多伺服器集群的一個原因，若用在辦公網中要求所有工作站都能訪問某一文件伺服器或列印伺服器時，也需作多伺服器集群。

解決伺服器流量控制的思路與工作站多配置第二種解決方法是一樣的。我們以兩個伺服器為例，假設兩個伺服器名分別為：

PXEFS1和PXEFS2，PXEFS1的配置較高我們用它作啟動伺服器兼作第一文件伺服器，PXEFS2作為第二文件伺服器，所有工作站的啟動映像均從PXEFS1獲得，對其啟動映像作如下處理即可實現流量自動控制：

打開PXE啟動軟盤WINBOOT下的STARTNET.BAT文件

找到lhqualcnxLNGUESTLNGUEST

call%TEMP%username.bat

這兩條語句，在其後加入以下幾行

if%HWA%==00E04C35612FGOTOF2

if%HWA%==00E04C43365GOTOF2網卡號為使用PXEFS2作為文件伺服器的工作站的網卡號,注意HWA為大寫,其中等號為雙等號

gotoend

:F2注意前面有冒號

setshare=PXEFS2

:end

然後將修改好的啟動軟盤，在伺服器上重作映像。

以下用一個雙伺服器帶76台（可擴展上92台）工作站的無盤網為例，簡要說明使用3COMDABS構架的雙伺服器無盤系統，供讀者探討。

網路拓撲結構如圖31所示。

圖31雙伺服器配置一例

說明：

一．1號伺服器為啟動伺服器和1至36號工作站的文件伺服器，其設置如下：

1．IP地址：192.168.0.2

2．子網掩碼：255.255.255.0

3．DHCP范圍：192.168.0.20~192.168.0.240

4．操作系統採用winnt4.0server或windows2000server，並升級為域控制器。

5．PXE軟體採用3COM的DABS

6．伺服器名設置為：PXEFS1

7．按照本叢書《無盤網路完全掌握-基礎篇》第9章相關內容將1~36號工作站作好單網卡的3COMDABS無盤網路

8．在作有盤Windows98時設置網關和DNS都指向192.168.0.1(2號伺服器的IP地址)

二．2號伺服器為上網代理伺服器及37至76號伺服器的文件伺服器，其設置如下：

1．安裝winnt4.0server或windows2000server，將它作為成員伺服器或獨立伺服器。

2．伺服器名設置為：PXEFS2

3．在1號伺服器中新建一個啟動文件（.pxe和.img文件可以用原來的復制後得到）

4．修改啟動映象文件中的setver.bat，將setsever=PXEFS1改為setsever=PXEFS2

5．將37至76號工作站的啟動文件置指向剛才修改好的文件

6．將相關的共享文件（例如PXEFILES）從1號伺服器復制到2號伺服器相應的目錄中。

7．在2號伺服器上安裝好上網設備，使之能正常上網，再安裝代理伺服器軟體（例如Wingate4.3或Sygate4.1）注意一定要將這些共享上網的軟體提供的DHCP服務禁用，否則無盤站將能正常啟動。

11.6虛擬光碟機在PXE無盤網路中的安裝和使用

價廉物美的CD-ROM光碟機及其光碟存儲介質的廣泛普及，使得以光碟為媒體的軟體發行迅速取代軟盤成為現實。但在使用光碟軟體的過程中，網路無盤工作站往往無法方便地使用光碟軟體、利用光碟塔等設施在網路中共享多張光碟軟體成本高昂難以接受，市場上出現了相應的光碟管理軟體，其中虛擬光碟機2000以其獨特的功能設計、優越的性能、方便的管理占據了光碟模擬軟體的鰲頭，VirtualDrive是FarStone公司的共享軟體，它利用電腦模擬技術，在硬碟中產生同物理光碟機功能一模一樣的虛擬光碟機，從而將光碟映射到硬碟中運行。本節將以FarStone公司推出的VirtualDriveNetworkV6為例說明，虛擬光碟機在PXE無盤網路中應用，請讀者注意虛擬光碟機2000的各版本中，一般都有兩個版本，一個為專業版，只能用於有盤機使用，另一個為網路版可以用於網路中，可以在伺服器建立虛擬光碟庫供工作站共享使用，且管理很方便，在伺服器端和工作端均需安裝。

虛擬光碟機工具能夠在硬碟或者文件伺服器上建立整張光碟內容的映像文件作為虛擬光碟，同時在系統中建立虛擬光碟驅動器，由虛擬光碟機模擬對虛擬光碟的各種插入、彈出、讀取、自動運行等操作。虛擬光碟驅動器也是一個標準的Windows系統設備，能夠在「控制面板-系統-設備管理器」中查看和設置，能夠被所有的軟體使用，與真正的光碟驅動器在功能與操作上完全等價。

由於驅動器盤符按照英文字母命名，除去軟碟機A、B和硬碟C，最多可以同時模擬從D到Z共23

⑵ hadoop集群搭建（Hadoop 3.1.3 /Hive 3.1.2/Spark 3.0.0）

完全分布式HA

伺服器規劃

技術棧包含
hdfs
hive on spark
presto
doris
superset
azkaban
kafka
fluent\flume
sqoop\kettle\flink-cdc
atlas

禁用swap/selinux

修改 IP/修改主機名/及主機名和 IP 地址的映射

時間同步/設置時區/自動時間同步

關閉防火牆

關閉SELINUX

新建用戶

免密登錄（先升級openssh）

發送密鑰（dw01上執行）

授權

Tencent Kona v8.0.8-GA

騰訊開源的konaJDK，針對大數據場景下優化

解壓並重命名至安裝地址：/usr/local/java/

zookeeper-3.5.9

解壓並重命名至安裝地址：/usr/local/zookeeper

apache-hadoop-3.1.3 解壓至安裝地址：/usr/local/hadoop

修改環境變數

/usr/local/zookeeper/conf

啟動zookeeper集群（每台執行）

三台伺服器啟動

格式化namenode（dw01執行）

啟動namenode(dw01上執行)

在[nn2]和[nn3]上分別執行，同步 nn1 的元數據信息

啟動nn2 nn3，分別執行

所有節點上啟動datanode

將[nn1]切換為 Active

查看狀態

配置yarn-site.xml

配置mapred-site.xml

分發配置文件，啟動yarn(dw03 啟動)

dw03節點

dw01節點

dw01執行

dw03執行

測試樣例

啟動腳本

HA切換namenode手動

修改yarn顯示log的bug

⑶ 「分布式」與「集群」的區別是什麼

簡單說，分布式是以縮短單個任務的執行時間來提升效率的，而集群則是通過提高單位時間內執行的任務數來提升效率。
例如：
如果一個任務由10個子任務組成，每個子任務單獨執行需1小時，則在一台伺服器上執行改任務需10小時。
採用分布式方案，提供10台伺服器，每台伺服器只負責處理一個子任務，不考慮子任務間的依賴關系，執行完這個任務只需一個小時。(這種工作模式的一個典型代表就是Hadoop的Map/Rece分布式計算模型）
而採用集群方案，同樣提供10台伺服器，每台伺服器都能獨立處理這個任務。假設有10個任務同時到達，10個伺服器將同時工作，10小後，10個任務同時完成，這樣，整身來看，還是1小時內完成一個任務！
以下是摘抄自網路文章：
一、集群概念
1. 兩大關鍵特性
集群是一組協同工作的服務實體，用以提供比單一服務實體更具擴展性與可用性的服務平台。在客戶端看來，一個集群就象是一個服務實體，但事實上集群由一組服務實體組成。與單一服務實體相比較，集群提供了以下兩個關鍵特性：
· 可擴展性－－集群的性能不限於單一的服務實體，新的服務實體可以動態地加入到集群，從而增強集群的性能。
· 高可用性－－集群通過服務實體冗餘使客戶端免於輕易遇到out of service的警告。在集群中，同樣的服務可以由多個服務實體提供。如果一個服務實體失敗了，另一個服務實體會接管失敗的服務實體。集群提供的從一個出 錯的服務實體恢復到另一個服務實體的功能增強了應用的可用性。
2. 兩大能力
為了具有可擴展性和高可用性特點，集群的必須具備以下兩大能力：
· 負載均衡－－負載均衡能把任務比較均衡地分布到集群環境下的計算和網路資源。
· 錯誤恢復－－由於某種原因，執行某個任務的資源出現故障，另一服務實體中執行同一任務的資源接著完成任務。這種由於一個實體中的資源不能工作，另一個實體中的資源透明的繼續完成任務的過程叫錯誤恢復。
負載均衡和錯誤恢復都要求各服務實體中有執行同一任務的資源存在，而且對於同一任務的各個資源來說，執行任務所需的信息視圖（信息上下文）必須是一樣的。
3. 兩大技術
實現集群務必要有以下兩大技術：
· 集群地址－－集群由多個服務實體組成，集群客戶端通過訪問集群的集群地址獲取集群內部各服務實體的功能。具有單一集群地址（也叫單一影像）是集群的一個基本特徵。維護集群地址的設置被稱為負載均衡器。負載均衡器內部負責管理各個服務實體的加入和退出，外部負責集群地址向內部服務實體地址的轉換。有的負載均衡器實現真正的負載均衡演算法，有的只支持任務的轉換。只實現任務轉換的負載均衡器適用於支持ACTIVE-STANDBY的集群環境，在那裡，集群中只有一個服務實體工作，當正在工作的服務實體發生故障時，負載均衡器把後來的任務轉向另外一個服務實體。
· 內部通信－－為了能協同工作、實現負載均衡和錯誤恢復，集群各實體間必須時常通信，比如負載均衡器對服務實體心跳測試信息、服務實體間任務執行上下文信息的通信。
具有同一個集群地址使得客戶端能訪問集群提供的計算服務，一個集群地址下隱藏了各個服務實體的內部地址，使得客戶要求的計算服務能在各個服務實體之間分布。內部通信是集群能正常運轉的基礎，它使得集群具有均衡負載和錯誤恢復的能力。
二、集群分類
Linux集群主要分成三大類(高可用集群， 負載均衡集群，科學計算集群)
高可用集群(High Availability Cluster)
負載均衡集群(Load Balance Cluster)
科學計算集群(High Performance Computing Cluster)
具體包括：
Linux High Availability 高可用集群
(普通兩節點雙機熱備，多節點HA集群，RAC, shared, share-nothing集群等)
Linux Load Balance 負載均衡集群
(LVS等....)
Linux High Performance Computing 高性能科學計算集群
(Beowulf 類集群....)
三、詳細介紹
1. 高可用集群(High Availability Cluster)
常見的就是2個節點做成的HA集群，有很多通俗的不科學的名稱，比如"雙機熱備"，"雙機互備"，"雙機"。
高可用集群解決的是保障用戶的應用程序持續對外提供服務的能力。 (請注意高可用集群既不是用來保護業務數據的，保護的是用戶的業務程序對外不間斷提供服務，把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度)。
2. 負載均衡集群(Load Balance Cluster)
負載均衡系統：集群中所有的節點都處於活動狀態，它們分攤系統的工作負載。一般Web伺服器集群、資料庫集群和應用伺服器集群都屬於這種類型。
負載均衡集群一般用於相應網路請求的網頁伺服器，資料庫伺服器。這種集群可以在接到請求時，檢查接受請求較少，不繁忙的伺服器，並把請求轉到這些伺服器上。從檢查其他伺服器狀態這一點上看，負載均衡和容錯集群很接近，不同之處是數量上更多。
3. 科學計算集群(High Performance Computing Cluster)
高性能計算(High Perfermance Computing)集群，簡稱HPC集群。這類集群致力於提供單個計算機所不能提供的強大的計算能力。
3.1 高性能計算分類
3.1.1 高吞吐計算(High-throughput Computing)
有一類高性能計算，可以把它分成若干可以並行的子任務，而且各個子任務彼此間沒有什麼關聯。象在家搜尋外星人（ SETI@HOME -- Search for Extraterrestrial Intelligence at Home ）就是這一類型應用。這一項目是利用Internet上的閑置的計算資源來搜尋外星人。SETI項目的伺服器將一組數據和數據模式發給Internet上參加SETI的計算節點，計算節點在給定的數據上用給定的模式進行搜索，然後將搜索的結果發給伺服器。伺服器負責將從各個計算節點返回的數據匯集成完整的 數據。因為這種類型應用的一個共同特徵是在海量數據上搜索某些模式，所以把這類計算稱為高吞吐計算。所謂的Internet計算都屬於這一類。按照 Flynn的分類，高吞吐計算屬於SIMD（Single Instruction/Multiple Data）的范疇。
3.1.2 分布計算(Distributed Computing)
另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干並行的子任務，但是子任務間聯系很緊密，需要大量的數據交換。按照Flynn的分類，分布式的高性能計算屬於MIMD（Multiple Instruction/Multiple Data）的范疇。
四、分布式（集群）與集群的聯系與區別
分布式是指將不同的業務分布在不同的地方；而集群指的是將幾台伺服器集中在一起，實現同一業務。
分布式中的每一個節點，都可以做集群。 而集群並不一定就是分布式的。
舉例：就比如新浪網，訪問的人多了，他可以做一個群集，前面放一個響應伺服器，後面幾台伺服器完成同一業務，如果有業務訪問的時候，響應伺服器看哪台伺服器的負載不是很重，就將給哪一台去完成。
而分布式，從窄意上理解，也跟集群差不多， 但是它的組織比較鬆散，不像集群，有一個組織性，一台伺服器垮了，其它的伺服器可以頂上來。
分布式的每一個節點，都完成不同的業務，一個節點垮了，那這個業務就不可訪問了。

⑷ 資料庫集群是什麼

集群主要分成三大類 （高可用集群， 負載均衡集群，科學計算集群）
高可用集群( High Availability Cluster)
負載均衡集群(Load Balance Cluster)
科學計算集群(High Performance Computing Cluster)

1、高可用集群(High Availability Cluster)
常見的就是2個節點做成的HA集群，有很多通俗的不科學的名稱，比如」雙機熱備」, 「雙機互備」, 「雙機」。高可用集群解決的是保障用戶的應用程序持續對外提供服務的能力。 (請注意高可用集群既不是用來保護業務數據的，保護的是用戶的業務程序對外不間斷提供服務，把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度)。

2、負載均衡集群(Load Balance Cluster)

負載均衡系統：集群中所有的節點都處於活動狀態，它們分攤系統的工作負載。一般Web伺服器集群、資料庫集群和應用伺服器集群都屬於這種類型。

負載均衡集群一般用於相應網路請求的網頁伺服器，資料庫伺服器。這種集群可以在接到請求時，檢查接受請求較少，不繁忙的伺服器，並把請求轉到這些伺服器上。從檢查其他伺服器狀態這一點上看，負載均衡和容錯集群很接近，不同之處是數量上更多。

3、科學計算集群(High Performance Computing Cluster)

高性能計算(High Perfermance Computing)集群，簡稱HPC集群。這類集群致力於提供單個計算機所不能提供的強大的計算能力。

高性能計算分類：

3.1、高吞吐計算(High-throughput Computing)
有一類高性能計算，可以把它分成若干可以並行的子任務，而且各個子任務彼此間沒有什麼關聯。象在家搜尋外星人（ SETI@HOME – Search for Extraterrestrial Intelligence at Home ）就是這一類型應用。
這一項目是利用Internet上的閑置的計算資源來搜尋外星人。SETI項目的伺服器將一組數據和數據模式發給Internet上參加SETI的計算節點，計算節點在給定的數據上用給定的模式進行搜索，然後將搜索的結果發給伺服器。伺服器負責將從各個計算節點返回的數據匯集成完整的 數據。因為這種類型應用的一個共同特徵是在海量數據上搜索某些模式，所以把這類計算稱為高吞吐計算。
所謂的Internet計算都屬於這一類。按照 Flynn的分類，高吞吐計算屬於SIMD（Single Instruction/Multiple Data）的范疇。

3.2、分布計算(Distributed Computing)
另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干並行的子任務，但是子任務間聯系很緊密，需要大量的數據交換。按照Flynn的分類，分布式的高性能計算屬於MIMD（Multiple Instruction/Multiple Data）的范疇。

下面說說這幾種集群的應用場景：

高可用集群這里不多作說明。

想Dubbo是比較偏向於負載均衡集群，用過的猿友應該知道（不知道的可以自行了解一下），Dubbo同一個服務是可以有多個提供者的，當一個消費者過來，它要消費那個提供者，這里是有負載均衡機制在裡面的。

搜索引擎Elasticsearch比較偏向於科學計算集群的分布計算。

而到這里，可能不少猿友都知道，集群的一些術語：集群容錯、負載均衡。

我們以Dubbo為例：
集群容錯（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E9%9B%86%E7%BE%A4%E5%AE%B9%E9%94%99）

Dubbo提供了這些容錯策略：
集群容錯模式：
可以自行擴展集群容錯策略，參見：集群擴展
Failover Cluster
失敗自動切換，當出現失敗，重試其它伺服器。(預設)
通常用於讀操作，但重試會帶來更長延遲。
可通過retries="2"來設置重試次數(不含第一次)。

Failfast Cluster
快速失敗，只發起一次調用，失敗立即報錯。
通常用於非冪等性的寫操作，比如新增記錄。

Failsafe Cluster
失敗安全，出現異常時，直接忽略。
通常用於寫入審計日誌等操作。

Failback Cluster
失敗自動恢復，後台記錄失敗請求，定時重發。
通常用於消息通知操作。

Forking Cluster
並行調用多個伺服器，只要一個成功即返回。
通常用於實時性要求較高的讀操作，但需要浪費更多服務資源。

可通過forks="2"來設置最大並行數。

Broadcast Cluster
廣播調用所有提供者，逐個調用，任意一台報錯則報錯。(2.1.0開始支持)
通常用於通知所有提供者更新緩存或日誌等本地資源信息。

負載均衡（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1）

Dubbo提供了這些負載均衡策略：

Random LoadBalance

隨機，按權重設置隨機概率。

在一個截面上碰撞的概率高，但調用量越大分布越均勻，而且按概率使用權重後也比較均勻，有利於動態調整提供者權重。

RoundRobin LoadBalance
輪循，按公約後的權重設置輪循比率。
存在慢的提供者累積請求問題，比如：第二台機器很慢，但沒掛，當請求調到第二台時就卡在那，久而久之，所有請求都卡在調到第二台上。

LeastActive LoadBalance
最少活躍調用數，相同活躍數的隨機，活躍數指調用前後計數差。
使慢的提供者收到更少請求，因為越慢的提供者的調用前後計數差會越大。

ConsistentHash LoadBalance
一致性Hash，相同參數的請求總是發到同一提供者。
當某一台提供者掛時，原本發往該提供者的請求，基於虛擬節點，平攤到其它提供者，不會引起劇烈變動。
演算法參見：http://en.wikipedia.org/wiki/Consistent_hashing。

預設只對第一個參數Hash，如果要修改，請配置<bbo:parameter key="hash.arguments" value="0,1" />

預設用160份虛擬節點，如果要修改，請配置<bbo:parameter key="hash.nodes" value="320" />

⑸ 求集群管理的相關知識！

集群技術案例介紹和具體操作

集群技術案例介紹和具體操作
中國科學院西安網路中心 中科紅旗linux培訓認證中心
集群技術
1.1 什麼是集群
簡單的說，集群（cluster）就是一組計算機，它們作為一個整體向用戶提
供一組網路資源。這些單個的計算機系統就是集群的節點（node）。一個理想的
集群是，用戶從來不會意識到集群系統底層的節點，在他/她們看來，集群是一
個系統，而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群
系統的節點。
1.2 為什麼需要集群
集群並不是一個全新的概念，其實早在七十年代計算機廠商和研究機構就
開始了對集群系統的研究和開發。由於主要用於科學工程計算，所以這些系統並
不為大家所熟知。直到Linux集群的出現，集群的概念才得以廣為傳播。
對集群的研究起源於集群系統良好的性能可擴展性(scalability)。提高CPU
主頻和匯流排帶寬是最初提供計算機性能的主要手段。但是這一手段對系統性能的
提供是有限的。接著人們通過增加CPU個數和內存容量來提高性能，於是出現了
向量機，對稱多處理機(SMP)等。但是當CPU的個數超過某一閾值，象SMP這些
多處理機系統的可擴展性就變的極差。主要瓶頸在於CPU訪問內存的帶寬並不能
隨著CPU個數的增加而有效增長。與SMP相反，集群系統的性能隨著CPU個數的
增加幾乎是線性變化的。圖1顯示了這中情況。
圖1. 幾種計算機系統的可擴展性
對於關鍵業務，停機通常是災難性的。因為停機帶來的損失也是巨大的。下
面的統計數字列舉了不同類型企業應用系統停機所帶來的損失。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
應用系統每分鍾損失(美元)
呼叫中心(Call Center) 27000
企業資源計劃(ERP)系統13000
供應鏈管理(SCM)系統11000
電子商務(eCommerce)系統10000
客戶服務(Customer Service Center)系統27000
圖2：停機給企業帶來的損失
隨著企業越來越依賴於信息技術，由於系統停機而帶來的損失也越拉越大。
集群系統的優點並不僅在於此。下面列舉了集群系統的主要優點：
高可擴展性：如上所述。
高可用性：集群中的一個節點失效，它的任務可傳遞給其他節點。可以有效防止單點失效。
高性能：負載平衡集群允許系統同時接入更多的用戶。
高性價比：可以採用廉價的符合工業標準的硬體構造高性能的系統。
2.1 集群系統的分類
雖然，根據集群系統的不同特徵可以有多種分類方法，但是一般把集群系統分為兩類：
（1）、高可用(High Availability)集群,簡稱HA集群。
這類集群致力於提供高度可靠的服務。就是利用集群系統的容錯性對外提供7*24小時不間
斷的服務，如高可用的文件伺服器、資料庫服務等關鍵應用。
目前已經有在Linux下的高可用集群，如Linux HA項目。
負載均衡集群：使任務可以在集群中盡可能平均地分攤不同的計算機進行處理，充分利
用集群的處理能力，提高對任務的處理效率。
在實際應用中這幾種集群類型可能會混合使用，以提供更加高效穩定的服務。如在一個使
用的網路流量負載均衡集群中，就會包含高可用的網路文件系統、高可用的網路服務。
（2）、性能計算(High Perfermance Computing)集群，簡稱HPC集群，也稱為科學計算
集群。
在這種集群上運行的是專門開發的並行應用程序，它可以把一個問題的數據分布到多
台的計算機上，利用這些計算機的共同資源來完成計算任務，從而可以解決單機不能勝任
的工作（如問題規模太大，單機計算速度太慢）。
這類集群致力於提供單個計算機所不能提供的強大的計算能力。如天氣預報、石油勘探與油
藏模擬、分子模擬、生物計算等。這些應用通常在並行通訊環境MPI、PVM等中開發，由於MPI
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
是目前的標准，故現在多使用MPI為並行環境。
比較有名的集群Beowulf就是一種科學計算集群項目。
3、集群系統轉發方式和調度演算法
3．1轉發方式
目前LVS主要有三種請求轉發方式和八種調度演算法。根據請求轉發方式的不同，所構
架集群的網路拓撲、安裝方式、性能表現也各不相同。用LVS主要可以架構三種形式的集群，
分別是LVS/NAT、LVS/TUN和LVS/DR，可以根據需要選擇其中一種。
（1）、網路地址轉換（LVS/NAT）
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
（2）、直接路由
（3）、IP隧道
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
三種轉發方式的比較：
3．2、調度演算法
在選定轉發方式的情況下，採用哪種調度演算法將決定整個負載均衡的性能表現，不同
的演算法適用於不同的應用場合，有時可能需要針對特殊場合，自行設計調度演算法。LVS的算
法是逐漸豐富起來的，最初LVS只提供4種調度演算法，後來發展到以下八種：
1.輪叫調度（Round Robin）
調度器通過「輪叫」調度演算法將外部請求按順序輪流分配到集群中的真實伺服器上，它均
等地對待每一台伺服器，而不管伺服器上實際的連接數和系統負載。
2.加權輪叫（Weighted Round Robin）
調度器通過「加權輪叫」調度演算法根據真實伺服器的不同處理能力來調度訪問請求。這樣
可以保證處理能力強的伺服器能處理更多的訪問流量。調度器可以自動詢問真實伺服器的
負載情況，並動態地調整其權值。
3.最少鏈接（Least Connections）
調度器通過「最少連接」調度演算法動態地將網路請求調度到已建立的鏈接數最少的伺服器
上。如果集群系統的真實伺服器具有相近的系統性能，採用「最小連接」調度演算法可以較
好地均衡負載。
4.加權最少鏈接（Weighted Least Connections）
在集群系統中的伺服器性能差異較大的情況下，調度器採用「加權最少鏈接」調度演算法優
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
化負載均衡性能，具有較高權值的伺服器將承受較大比例的活動連接負載。調度器可以自
動詢問真實伺服器的負載情況，並動態地調整其權值。
5.基於局部性的最少鏈接（Locality-Based Least Connections）
「基於局部性的最少鏈接」調度演算法是針對目標IP地址的負載均衡，目前主要用於Cache
集群系統。該演算法根據請求的目標IP地址找出該目標IP地址最近使用的伺服器，若該服務
器是可用的且沒有超載，將請求發送到該伺服器；若伺服器不存在，或者該伺服器超載且
有伺服器處於一半的工作負載，則用「最少鏈接」的原則選出一個可用的伺服器，將請求
發送到該伺服器。
6. 帶復制的基於局部性最少鏈接（ Locality-Based Least Connections with
Replication）
「帶復制的基於局部性最少鏈接」調度演算法也是針對目標IP地址的負載均衡，目前主要
用於Cache集群系統。它與LBLC演算法的不同之處是它要維護從一個目標IP地址到一組服務
器的映射，而LBLC演算法維護從一個目標IP地址到一台伺服器的映射。該演算法根據請求的目
標IP地址找出該目標IP地址對應的伺服器組，按「最小連接」原則從伺服器組中選出一
台伺服器，若伺服器沒有超載，將請求發送到該伺服器；若伺服器超載，則按「最小連接
」原則從這個集群中選出一台伺服器，將該伺服器加入到伺服器組中，將請求發送到該服
務器。同時，當該伺服器組有一段時間沒有被修改，將最忙的伺服器從伺服器組中刪除，
以降低復制的程度。
7.目標地址散列（Destination Hashing）
「目標地址散列」調度演算法根據請求的目標IP地址，作為散列鍵（Hash Key）從靜態分
配的散列表找出對應的伺服器，若該伺服器是可用的且未超載，將請求發送到該伺服器，
否則返回空。
8.源地址散列（Source Hashing）
「源地址散列」調度演算法根據請求的源IP地址，作為散列鍵（Hash Key）從靜態分配的
散列表找出對應的伺服器，若該伺服器是可用的且未超載，將請求發送到該伺服器，否則
返回空。
了解這些演算法原理能夠在特定的應用場合選擇最適合的調度演算法，從而盡可能地保持
Real Server的最佳利用性。當然也可以自行開發演算法，不過這已超出本文范圍，請參考有
關演算法原理的資料。
4．1、什麼是高可用性
計算機系統的可用性(availability)是通過系統的可靠性(reliability)和可維護性
(maintainability)來度量的。工程上通常用平均無故障時間(MTTF)來度量系統的可靠性，
用平均維修時間（MTTR）來度量系統的可維護性。於是可用性被定義為：
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
MTTF/(MTTF+MTTR)*100%
業界根據可用性把計算機系統分為如下幾類：
可用比例
(Percent
Availability)
年停機時間
(downtime/year
)
可用性分類
99.5 3.7天
常規系統
(Conventional)
99.9 8.8小時可用系統(Available)
99.99 52.6分鍾
高可用系統(Highly
Available)
99.999 5.3分鍾Fault Resilient
99.9999 32秒Fault Tolerant
為了實現集群系統的高可用性，提高系統的高可性，需要在集群中建立冗餘機制。一個功
能全面的集群機構如下圖所示
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
負載均衡伺服器的高可用性
為了屏蔽負載均衡伺服器的失效，需要建立一個備份機。主伺服器和備份機上都運行
High Availability監控程序，通過傳送諸如「I am alive」這樣的信息來監控對方的運
行狀況。當備份機不能在一定的時間內收到這樣的信息時，它就接管主伺服器的服務IP並
繼續提供服務；當備份管理器又從主管理器收到「I am alive」這樣的信息是，它就釋放
服務IP地址，這樣的主管理器就開開始再次進行集群管理的工作了。為在住伺服器失效的
情況下系統能正常工作，我們在主、備份機之間實現負載集群系統配置信息的同步與備份，
保持二者系統的基本一致。
HA的容錯備援運作過程
自動偵測(Auto-Detect)階段 由主機上的軟體通過冗餘偵測線，經由復雜的監聽程序。邏
輯判斷，來相互偵測對方運行的情況，所檢查的項目有：
主機硬體(CPU和周邊)
主機網路
主機操作系統
資料庫引擎及其它應用程序
主機與磁碟陣列連線
為確保偵測的正確性，而防止錯誤的判斷，可設定安全偵測時間，包括偵測時間間隔，
偵測次數以調整安全系數，並且由主機的冗餘通信連線，將所匯集的訊息記錄下來，以供
維護參考。
自動切換(Auto-Switch)階段 某一主機如果確認對方故障，則正常主機除繼續進行原來的
任務，還將依據各種容錯備援模式接管預先設定的備援作業程序，並進行後續的程序及服
務。
自動恢復(Auto-Recovery)階段 在正常主機代替故障主機工作後，故障主機可離線進行修
復工作。在故障主機修復後，透過冗餘通訊線與原正常主機連線，自動切換回修復完成的
主機上。整個回復過程完成由EDI-HA自動完成，亦可依據預先配置，選擇回復動作為半自
動或不回復。
4．2、HA三種工作方式：
（1）、主從方式 （非對稱方式）
工作原理：主機工作，備機處於監控准備狀況；當主機宕機時，備機接管主機的一切工作，
待主機恢復正常後，按使用者的設定以自動或手動方式將服務切換到主機上運行，數據的
一致性通過共享存儲系統解決。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
（2）、雙機雙工方式（互備互援）
工作原理：兩台主機同時運行各自的服務工作且相互監測情況，當任一台主機宕機時，另
一台主機立即接管它的一切工作，保證工作實時，應用服務系統的關鍵數據存放在共享存
儲系統中。
（3）、集群工作方式（多伺服器互備方式）
工作原理：多台主機一起工作，各自運行一個或幾個服務，各為服務定義一個或多個備用
主機，當某個主機故障時，運行在其上的服務就可以被其它主機接管。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
相關文檔
http://tech.sina.com.cn/it/2004-04-09/1505346805.shtml
http://stonesoup.esd.ornl.gov
LINUX下的集群實列應用
最近有客戶需要一個負載均衡方案，筆者對各種軟硬體的負載均衡方案進行了調查和
比較，從IBM sServer Cluster、Sun Cluster PlatForm 等硬體集群，到中軟、紅旗、
TurboLinux的軟體集群，發現無論採用哪個廠商的負載均衡產品其價格都是該客戶目前所
不能接受的。於是筆者想到了開放源項目Linux Virtual Server(簡稱LVS)。經過對LVS的研
究和實驗，終於在Red Hat 9.0上用LVS成功地構架了一組負載均衡的集群系統。整個實
現過程整理收錄如下，供讀者參考。
選用的LVS實際上是一種Linux操作系統上基於IP層的負載均衡調度技術，它在操
作系統核心層上，將來自IP層的TCP/UDP請求均衡地轉移到不同的伺服器，從而將一組
伺服器構成一個高性能、高可用的虛擬伺服器。使用三台機器就可以用LVS實現最簡單的集
群，如圖1所示。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
圖1 LVS實現集群系統結構簡圖
圖1顯示一台名為Director的機器在集群前端做負載分配工作；後端兩台機器稱之為
Real Server，專門負責處理Director分配來的外界請求。該集群的核心是前端的Director
機器，LVS就是安裝在這台機器上，它必須安裝Linux。Real Server則要根據其選用的負
載分配方式而定，通常Real Server上的設置比較少。接下來介紹Director機器上LVS的
安裝過程。
安裝
LVS的安裝主要是在Director機器上進行，Real Server只需針對不同的轉發方式做簡單
的設定即可。特別是對LVS的NAT方式，Real Server惟一要做的就是設一下預設的網關。
所以構架集群的第一步從安裝Director機器開始。
首先，要在Director機器上安裝一個Linux操作系統。雖然早期的一些Red Hat版本，
如6.2、7.2、8.0等自帶Red Hat自己的集群軟體，或者是在內核中已經支持LVS，但是為
了更清楚地了解LVS的機制，筆者還是選擇自行將LVS編入Linux內核的方式進行安裝，
Linux版本採用Red Hat 9.0。
如果用戶對Red Hat的安裝比較了解，可以選擇定製安裝，並只安裝必要的軟體包。
安裝中請選擇GRUB 做為啟動引導管理軟體。因為GRUB 在系統引導方面的功能遠比
LILO強大，在編譯Linux內核時可以體會它的方便之處。
LVS是在Linux內核中實現的，所以要對原有的Linux內核打上支持LVS的內核補丁，
然後重新編譯內核。支持LVS 的內核補丁可以從LVS 的官方網
http://www.linuxvirtualserver.org 下載，下載時請注意使用的Linux核心版本，必須下載和
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
使用的Linux內核版本相一致的LVS內核補丁才行。對於Red Hat 9.0，其Linux內核版本
是2.4.20，所以對應內核補丁應該是http://www.linuxvirtualserver.org/software/kernel-
2.4/linux-2.4.20-ipvs-1.0.9.patch.gz。筆者經過多次實驗，使用Red Hat 9.0自帶的Linux
源代碼無法成功編譯LVS 的相關模組。由於時間關系筆者沒有仔細研究，而是另外從
kernel.org上下載了一個tar包格式的2.4.20內核來進行安裝，順利完成所有編譯。下面是
整個內核的編譯過程：
1.刪除Red Hat自帶的Linux源代碼
# cd /usr/src
# rm -rf linux*
2.下載2.4.20內核
# cd /usr/src
# wget ftp://ftp.kernel.org/pub/linux/kernel/v2.4/linux-2.4.20.tar.bz2
3.解壓到當前目錄/usr/src
# cd /usr/src
# tar -xjpvf linux-2.4.20.tar.bz2
4.建立鏈接文件
# cd /usr/src # ln -s linux-2.4.20 linux-2.4 # ln -s linux-2.4.20 linux
5.打上LVS的內核補丁
# cd /usr/src
#wget http://www.linuxvirtualserver.org/software/kernel-2.4/linux-2.4.20-ipvs-
1.0.9.patch.gz
# gzip -cd linux-2.4.20-ipvs-1.0.9.patch.gz
# cd /usr/src/linux
# patch -p1 < ../linux-2.4.20-ipvs-1.0.9.patch
在打補丁時，注意命令執行後的信息，不能有任何錯誤信息，否則核心或模組很可能
無法成功編譯。
6.打上修正ARP問題的內核補丁
# cd /usr/src
# wget http://www.ssi.bg/~ja/hidden-2.4.20pre10-1.diff
# cd /usr/src/linux
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
# patch -p1 < ../hidden-2.4.20pre10-1.diff
這一步在Director機器上可以不做，但是在使用LVS/TUN和LVS/DR方式的Real Server
上必須做。
7.為新核心命名
打開/usr/src/linux/Makefile。注意，在開始部分有一個變數EXTRAVERSION可以自行定
義。修改這個變數，比如改成「EXTRAVERSION=-LVS」後，編譯出的核心版本號就會顯
示成2.4.20-LVS。這樣給出有含義的名稱將有助於管理多個Linux核心。
8.檢查源代碼
# make mrproper
這一步是為確保源代碼目錄下沒有不正確的.o文件及文件的互相依賴。因為是新下載的內
核，所以在第一次編譯時，這一步實際可以省略。
9.配置核心選項
# make menuconfig
命令執行後會進入一個圖形化的配置界面，可以通過這個友好的圖形界面對內核進行定製。
此過程中，要注意對硬體驅動的選擇。Linux支持豐富的硬體，但對於伺服器而言，用不到
的硬體驅動都可以刪除。另外，像Multimedia devices、Sound、Bluetooth support、Amateur
Radio support等項也可以刪除。
注意，以下幾項配置對LVS非常重要，請確保作出正確的選擇：
(1)Code maturity level options項
對此項只有以下一個子選項，請選中為*，即編譯到內核中去。
Prompt for development and/or incomplete code/drivers
(2)Networking options項
對此項的選擇可以參考以下的配置，如果不清楚含義可以查看幫助：
<*> Packet socket
[ ] Packet socket: mmapped IO
< > Netlink device emulation
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
Network packet filtering (replaces ipchains)
[ ] Network packet filtering debugging
Socket Filtering
<*> Unix domain sockets
TCP/IP networking
IP: multicasting
IP: advanced router
IP: policy routing
[ ] IP: use netfilter MARK value as routing key
[ ] IP: fast network address translation
<M> IP: tunneling
IP: broadcast GRE over IP
[ ] IP: multicast routing
[ ] IP: ARP daemon support (EXPERIMENTAL)
[ ] IP: TCP Explicit Congestion Notification support
[ ] IP: TCP syncookie support (disabled per default)
IP: Netfilter Configuration --->
IP: Virtual Server Configuration --->
(3)Networking options項中的IP: Virtual Server Configuration項
如果打好了LVS的內核補丁，就會出現此選項。進入Virtual Server Configuration選項，
有以下子選項：
<M> virtual server support (EXPERIMENTAL)
IP virtual server debugging
(12) IPVS connection table size (the Nth power of 2)
--- IPVS scheler
<M> round-robin scheling
<M> weighted round-robin scheling
<M> least-connection scheling scheling
<M> weighted least-connection scheling
<M> locality-based least-connection scheling
<M> locality-based least-connection with replication scheling
<M> destination hashing scheling
<M> source hashing scheling
<M> shortest expected delay scheling
<M> never queue scheling
--- IPVS application helper
<M> FTP protocol helper
以上所有項建議全部選擇。
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(4)Networking options項中的IP: Netfilter Configuration項
對於2.4版本以上的Linux Kernel來說，iptables是取代早期ipfwadm和ipchains的
更好選擇，所以除非有特殊情況需要用到對ipchains和ipfwadm的支持，否則就不要選它。
本文在LVS/NAT方式中，使用的就是iptables，故這里不選擇對ipchains和ipfwadm的
支持：
< > ipchains (2.2-style) support
< > ipfwadm (2.0-style) support
10. 編譯內核
(1)檢查依賴關系
# make dep
確保關鍵文件在正確的路徑上。
(2)清除中間文件
# make clean
確保所有文件都處於最新的版本狀態下。
(3)編譯新核心
# make bzImage
(4)編譯模組
# make moles
編譯選擇的模組。
(5)安裝模組
# make moles_install
# depmod -a
生成模組間的依賴關系，以便modprobe定位。
(6)使用新模組
# cp System.map /boot/System.map-2.4.20-LVS
# rm /boot/System.map
# ln -s /boot/System.map-2.4.20-LVS /boot/System.map
# cp arch/i386/boot/bzImage /boot/vmlinuz-2.4.20-LVS
# rm /boot/vmlinuz
# ln -s /boot/vmlinuz-2.4.20-LVS /boot/vmlinuz
# new-kernel-pkg --install --mkinitrd --depmod 2.4.20-LVS
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
(7)修改GRUB，以新的核心啟動
執行完new-kernel-pkg命令後，GRUB的設置文件/etc/grub.conf中已經增加了新核心的
啟動項，這正是開始安裝Linux時推薦使用GRUB做引導程序的原因。
grub.conf中新增內容如下：
title Red Hat Linux (2.4.20-LVS)
root (hd0,0)
kernel /boot/vmlinuz-2.4.20LVS ro root=LABEL=/
initrd /boot/initrd-2.4.20LVS.img
將Kernel項中的root=LABEL=/改成 root=/dev/sda1 (這里的/dev/sda1是筆者Linux的根
分區，讀者可根據自己的情況進行不同設置）。
保存修改後，重新啟動系統:
# reboot
系統啟動後，在GRUB的界面上會出現Red Hat Linux(2.4.20-LVS)項。這就是剛才編譯的
支持LVS的新核心，選擇此項啟動，看看啟動過程是否有錯誤發生。如果正常啟動，ipvs
將作為模塊載入。同時應該注意到，用LVS的內核啟動後在/proc目錄中新增了一些文件，
比如/proc/sys/net/ipv4/vs/*。
11.安裝IP虛擬伺服器軟體ipvsadm
用支持LVS的內核啟動後，即可安裝IP虛擬伺服器軟體ipvsadm了。用戶可以用tar包或
RPM 包安裝，tar 包可以從以下地址http://www.linuxvirtualserver.org/software/kernel-
2.4/ipvsadm-1.21.tar.gz 下載進行安裝。
這里採用源RPM包來進行安裝：
# wget http://www.linuxvirtualserver.org/software/kernel-2.4/ipvsadm-1.21-7.src.rpm
# rpmbuild --rebuild ipvsadm-1.21-7.src.rpm
# rpm -ivh /usr/src/redhat/RPMS/i386/ipvsadm-1.21-7.i386.rpm
注意：高版本的rpm命令去掉了--rebuild這個參數選項，但提供了一個rpmbuild命令來實
現它。這一點和以前在Red Hat 6.2中以rpm—rebuild XXX.src.rpm來安裝源RPM包的習
慣做法有所不同。
安裝完，執行ipvsadm命令，應該有類似如下的信息出現：
# ipvsadm
中科紅旗linux技術支持服務中心---西安站 http://linux.xab.ac.cn
中國科學院西安網路中心 中科紅旗linux培訓認證中心
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
出現類似以上信息，表明支持LVS 的內核和配置工具ipvsadm 已完全安裝，這台
Director機器已經初步安裝完成，已具備構架各種方式的集群的條件。
實例
理解了上述關於請求轉發方式和調度演算法的基本概念後，就可以運用LVS來具體實現
幾種不同方式的負載均衡的集群系統。LVS的配置是通過前面所安裝的IP虛擬伺服器軟體
ipvsadm來實現的。ipvsadm與LVS的關系類似於iptables和NetFilter的關系，前者只是
一個建立和修改規則的工具，這些命令的作用在系統重新啟動後就消失了，所以應該將這
些命令寫到一個腳本里，然後讓它在系統啟動後自動執行。網上有不少配置LVS的工具，
有的甚至可以自動生成腳本。但是自己手工編寫有助於更深入地了解，所以本文的安裝沒
有利用其它第三方提供的腳本，而是純粹使用ipvsadm命令來配置。
下面就介紹一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的負載均衡集群。
1.設定LVS/NAT方式的負載均衡集群
NAT是指Network Address Translation，它的轉發流程是：Director機器收到外界請求，
改寫數據包的目標地址，按相應的調度演算法將其發送到相應Real Server上，Real Server
處理完該請求後，將結果數據包返回到其默認網關，即Director機器上，Dire

⑹ 企業級k8s集群部署

二進制包

註：推薦用二進制包部署Kubernetes集群，雖手動部署麻煩，但可以學習很多工作原理利於後期維護。

環境

可以使用VMware虛擬機，宿主機必須8G內存以上

• 伺服器可以訪問外網，有從網上拉取鏡像的需求

單Master伺服器規劃：（ 註：部署時候根據具體環境進行IP地址調整即可 ）

這里使用3台組建集群，可容忍1台機器故障，當然，你也可以使用5台組建集群

etcd1： 192.168.3.110 etcd2： 192.168.3.112 etcd3： 192.168.3.113

cfssl是一個開源的證書管理工具，使用json文件生成證書，相比openssl更方便使用。

找任意一台伺服器操作，這里用Master節點。

創建工作目錄：

自簽CA：

生成證書：

會生成ca.pem和ca-key.pem文件。

創建證書申請文件：

註：上述文件hosts欄位中IP為所有etcd節點的集群內部通信IP，一個都不能少！為了方便後期擴容可以多寫幾個預留的IP。

生成證書：

會生成etcd.pem和etcd-key.pem文件。

https://github.com/etcd-io/etcd/releases/download/v3.5.1/ etcd-v3.5.1-linux-amd64.tar.gz

以下在節點1上操作，然後將文件拷貝到其他集群機器

把剛才生成的證書拷貝到配置文件中的路徑：

注意修改節點2和節點3分別etcd.conf配置，按照下面提示的修改

啟動各節點的etcd服務

如果輸出上面信息，就說明集群部署成功。

如果有問題看日誌：/var/log/message

docker二進制下載地址：

https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

註：使用yum安裝也行

集群所有機器都安裝docker

生成證書：

會生成ca.pem和ca-key.pem文件。

創建證書申請文件：

生成證書：

會生成k8s.pem和k8s-key.pem文件。

下載地址參考：

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.20.md

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.20.md#downloads-for-v12013

Wget https://dl.k8s.io/v1.20.13/kubernetes-server-linux-amd64.tar.gz

把剛才生成的證書拷貝到配置文件中的路徑：

TLS Bootstrapping 機制，對work-node加入進行自簽證書用

創建上述配置文件中token文件：

token 可以自行生產，網路下怎麼生產

kube-apiserver服務

生成kube-controller-manager證書：

生成kubeconfig文件（以下是shell命令，直接在終端執行）：

生成kube-scheler證書：

生成kubeconfig文件：

生成kubeconfig文件：

通過kubectl工具查看當前集群組件狀態：

在所有worker node創建工作目錄：

從master節點拷貝：

註：由於網路插件還沒有部署，節點會沒有準備就緒 NotReady

二進制包下載地址：https://github.com/containernetworking/plugins/releases

確保kubelet啟用CNI：

在Master執行：

應用場景：例如kubectl logs

在Master節點將Worker Node涉及文件拷貝到新節點192.168.3.112/113

註：這幾個文件是證書申請審批後自動生成的，每個Node不同，必須刪除

Node2（192.168.3.113 ）節點同上。記得修改主機名！

訪問地址：https://NodeIP:30001

創建service account並綁定默認cluster-admin管理員集群角色：

使用輸出的token登錄Dashboard。

CoreDNS用於集群內部Service名稱解析。

DNS解析測試：

這樣 單Master集群就搭建完成了