9台服务器集群搭建

⑴ 急问如何配置PXE无盘网络

if%HWA%==00E04C42AFD9GOTOpxeb网卡号为B配置的网卡号,注意HWA

大写,其中等号为双等号

gotoend

:pxeb注意前面有冒号

setshare=pxeB

:end

将修改好的启动软盘，在服务器上重作映象。

对于使用3COMDABS软件制作的PXE无盘网络则更加方便，可以在服务器端直接打开无盘工作站的启动映象文件，进入Winboot目录，打开startnet.bat文件修改即可。

以上为两种配置工作站的修改，若有两种以上，则相应的语作些调整，例如四种配置可以改为：

lhqualcnxLNGUESTLNGUEST

call%TEMP%username.bat

if%HWA%==00E04C39414FGOTOpxeb（这是第二种配置）

if%HWA%==00E04C42AFD9GOTOpxeb（这是第二种配置）

if%HWA%==001234567890GOTOpxec（这是第三种配置）

if%HWA%==009787878788GOTOpxec（这是第三种配置）

if%HWA%==008787878333GOTOpxed（这是第四种配置）

if%HWA%==008888888888GOTOpxed（这是第四种配置）

gotoend

:pxeb

setshare=pxeb

gotoend

:pxec

setshare=pxec

gotoend

:pxed

setshare=pxed

gotoend

:end

当工作站配置较少时，可以采用以上方法解决，如果工作站的配置种类很多是则相当的烦琐，且大量浪费服务器的硬盘空间，管理也不方便。本丛书《无盘网络完全掌握-基础篇》第4章中介绍的PNP无盘技术针对多种不同工作站配置作详细介绍。

5多台PXE服务器的集群

所谓多服务器集群，指的是在一个无盘网络中有多个文件服务器分担数据流量，在PXE无盘网络中，安装多个服务器可行的，但其流量无法控制，因为多个服务器都要安装DHCP服务，所以无盘PXE工作站的启动映像的获得是随机的，这次可能从这台服务器获得，下次可能从那台服务器上获得，而且有可能大多数工作站都连接到了一个服务器上，这样根本无法实现多服务器集群。哪么读者可能会这样想，两个服务器做成两个无盘网络不就可以了吗？是的，在一般的教学网，或是不需要上因特网时，完全可以这样作，但如果只有一个条上网线路，多个PXE无盘网络要求同时上网，这时只将两个网络合在一起才能共线上网。单台服务器的带负荷能力是有限的，当工作站一多，其速度和稳定性将会受到很大的影响，使用多台服务器可以彻底解决这些问题，但也由此引发了一些新的问题，主要有：DHCP分配IP冲突、服务器流量控制、共享上网代理服务器设置等。总的原则是根据上因特网专线条数（或拔号上网的线路数）决定做成几个无盘网络，当然上因特网只是多服务器集群的一个原因，若用在办公网中要求所有工作站都能访问某一文件服务器或打印服务器时，也需作多服务器集群。

解决服务器流量控制的思路与工作站多配置第二种解决方法是一样的。我们以两个服务器为例，假设两个服务器名分别为：

PXEFS1和PXEFS2，PXEFS1的配置较高我们用它作启动服务器兼作第一文件服务器，PXEFS2作为第二文件服务器，所有工作站的启动映像均从PXEFS1获得，对其启动映像作如下处理即可实现流量自动控制：

打开PXE启动软盘WINBOOT下的STARTNET.BAT文件

找到lhqualcnxLNGUESTLNGUEST

call%TEMP%username.bat

这两条语句，在其后加入以下几行

if%HWA%==00E04C35612FGOTOF2

if%HWA%==00E04C43365GOTOF2网卡号为使用PXEFS2作为文件服务器的工作站的网卡号,注意HWA为大写,其中等号为双等号

gotoend

:F2注意前面有冒号

setshare=PXEFS2

:end

然后将修改好的启动软盘，在服务器上重作映像。

以下用一个双服务器带76台（可扩展上92台）工作站的无盘网为例，简要说明使用3COMDABS构架的双服务器无盘系统，供读者探讨。

网络拓扑结构如图31所示。

图31双服务器配置一例

说明：

一．1号服务器为启动服务器和1至36号工作站的文件服务器，其设置如下：

1．IP地址：192.168.0.2

2．子网掩码：255.255.255.0

3．DHCP范围：192.168.0.20~192.168.0.240

4．操作系统采用winnt4.0server或windows2000server，并升级为域控制器。

5．PXE软件采用3COM的DABS

6．服务器名设置为：PXEFS1

7．按照本丛书《无盘网络完全掌握-基础篇》第9章相关内容将1~36号工作站作好单网卡的3COMDABS无盘网络

8．在作有盘Windows98时设置网关和DNS都指向192.168.0.1(2号服务器的IP地址)

二．2号服务器为上网代理服务器及37至76号服务器的文件服务器，其设置如下：

1．安装winnt4.0server或windows2000server，将它作为成员服务器或独立服务器。

2．服务器名设置为：PXEFS2

3．在1号服务器中新建一个启动文件（.pxe和.img文件可以用原来的复制后得到）

4．修改启动映象文件中的setver.bat，将setsever=PXEFS1改为setsever=PXEFS2

5．将37至76号工作站的启动文件置指向刚才修改好的文件

6．将相关的共享文件（例如PXEFILES）从1号服务器复制到2号服务器相应的目录中。

7．在2号服务器上安装好上网设备，使之能正常上网，再安装代理服务器软件（例如Wingate4.3或Sygate4.1）注意一定要将这些共享上网的软件提供的DHCP服务禁用，否则无盘站将能正常启动。

11.6虚拟光驱在PXE无盘网络中的安装和使用

价廉物美的CD-ROM光驱及其光盘存储介质的广泛普及，使得以光盘为媒体的软件发行迅速取代软盘成为现实。但在使用光盘软件的过程中，网络无盘工作站往往无法方便地使用光盘软件、利用光盘塔等设施在网络中共享多张光盘软件成本高昂难以接受，市场上出现了相应的光盘管理软件，其中虚拟光驱2000以其独特的功能设计、优越的性能、方便的管理占据了光盘模拟软件的鳌头，VirtualDrive是FarStone公司的共享软件，它利用电脑模拟技术，在硬盘中产生同物理光驱功能一模一样的虚拟光驱，从而将光盘映射到硬盘中运行。本节将以FarStone公司推出的VirtualDriveNetworkV6为例说明，虚拟光驱在PXE无盘网络中应用，请读者注意虚拟光驱2000的各版本中，一般都有两个版本，一个为专业版，只能用于有盘机使用，另一个为网络版可以用于网络中，可以在服务器建立虚拟光盘库供工作站共享使用，且管理很方便，在服务器端和工作端均需安装。

虚拟光驱工具能够在硬盘或者文件服务器上建立整张光盘内容的映像文件作为虚拟光盘，同时在系统中建立虚拟光盘驱动器，由虚拟光驱模拟对虚拟光盘的各种插入、弹出、读取、自动运行等操作。虚拟光盘驱动器也是一个标准的Windows系统设备，能够在“控制面板-系统-设备管理器”中查看和设置，能够被所有的软件使用，与真正的光盘驱动器在功能与操作上完全等价。

由于驱动器盘符按照英文字母命名，除去软驱A、B和硬盘C，最多可以同时模拟从D到Z共23

⑵ hadoop集群搭建（Hadoop 3.1.3 /Hive 3.1.2/Spark 3.0.0）

完全分布式HA

服务器规划

技术栈包含
hdfs
hive on spark
presto
doris
superset
azkaban
kafka
fluent\flume
sqoop\kettle\flink-cdc
atlas

禁用swap/selinux

修改 IP/修改主机名/及主机名和 IP 地址的映射

时间同步/设置时区/自动时间同步

关闭防火墙

关闭SELINUX

新建用户

免密登录（先升级openssh）

发送密钥（dw01上执行）

授权

Tencent Kona v8.0.8-GA

腾讯开源的konaJDK，针对大数据场景下优化

解压并重命名至安装地址：/usr/local/java/

zookeeper-3.5.9

解压并重命名至安装地址：/usr/local/zookeeper

apache-hadoop-3.1.3 解压至安装地址：/usr/local/hadoop

修改环境变量

/usr/local/zookeeper/conf

启动zookeeper集群（每台执行）

三台服务器启动

格式化namenode（dw01执行）

启动namenode(dw01上执行)

在[nn2]和[nn3]上分别执行，同步 nn1 的元数据信息

启动nn2 nn3，分别执行

所有节点上启动datanode

将[nn1]切换为 Active

查看状态

配置yarn-site.xml

配置mapred-site.xml

分发配置文件，启动yarn(dw03 启动)

dw03节点

dw01节点

dw01执行

dw03执行

测试样例

启动脚本

HA切换namenode手动

修改yarn显示log的bug

⑶ “分布式”与“集群”的区别是什么

简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
例如：
如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。
采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Rece分布式计算模型）
而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，10小后，10个任务同时完成，这样，整身来看，还是1小时内完成一个任务！
以下是摘抄自网络文章：
一、集群概念
1. 两大关键特性
集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：
· 可扩展性－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。
· 高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。
2. 两大能力
为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力：
· 负载均衡－－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
· 错误恢复－－由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。
负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。
3. 两大技术
实现集群务必要有以下两大技术：
· 集群地址－－集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。具有单一集群地址（也叫单一影像）是集群的一个基本特征。维护集群地址的设置被称为负载均衡器。负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。有的负载均衡器实现真正的负载均衡算法，有的只支持任务的转换。只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。
· 内部通信－－为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。
具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。
二、集群分类
Linux集群主要分成三大类(高可用集群， 负载均衡集群，科学计算集群)
高可用集群(High Availability Cluster)
负载均衡集群(Load Balance Cluster)
科学计算集群(High Performance Computing Cluster)
具体包括：
Linux High Availability 高可用集群
(普通两节点双机热备，多节点HA集群，RAC, shared, share-nothing集群等)
Linux Load Balance 负载均衡集群
(LVS等....)
Linux High Performance Computing 高性能科学计算集群
(Beowulf 类集群....)
三、详细介绍
1. 高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如"双机热备"，"双机互备"，"双机"。
高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2. 负载均衡集群(Load Balance Cluster)
负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。
3. 科学计算集群(High Performance Computing Cluster)
高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
3.1 高性能计算分类
3.1.1 高吞吐计算(High-throughput Computing)
有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。象在家搜寻外星人（ SETI@HOME -- Search for Extraterrestrial Intelligence at Home ）就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点，计算节点在给定的数据上用给定的模式进行搜索，然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式，所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。按照 Flynn的分类，高吞吐计算属于SIMD（Single Instruction/Multiple Data）的范畴。
3.1.2 分布计算(Distributed Computing)
另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data）的范畴。
四、分布式（集群）与集群的联系与区别
分布式是指将不同的业务分布在不同的地方；而集群指的是将几台服务器集中在一起，实现同一业务。
分布式中的每一个节点，都可以做集群。 而集群并不一定就是分布式的。
举例：就比如新浪网，访问的人多了，他可以做一个群集，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。
而分布式，从窄意上理解，也跟集群差不多， 但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。
分布式的每一个节点，都完成不同的业务，一个节点垮了，那这个业务就不可访问了。

⑷ 数据库集群是什么

集群主要分成三大类 （高可用集群， 负载均衡集群，科学计算集群）
高可用集群( High Availability Cluster)
负载均衡集群(Load Balance Cluster)
科学计算集群(High Performance Computing Cluster)

1、高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如”双机热备”, “双机互备”, “双机”。高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。

2、负载均衡集群(Load Balance Cluster)

负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。

负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。

3、科学计算集群(High Performance Computing Cluster)

高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。

高性能计算分类：

3.1、高吞吐计算(High-throughput Computing)
有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。象在家搜寻外星人（ SETI@HOME – Search for Extraterrestrial Intelligence at Home ）就是这一类型应用。
这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点，计算节点在给定的数据上用给定的模式进行搜索，然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式，所以把这类计算称为高吞吐计算。
所谓的Internet计算都属于这一类。按照 Flynn的分类，高吞吐计算属于SIMD（Single Instruction/Multiple Data）的范畴。

3.2、分布计算(Distributed Computing)
另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data）的范畴。

下面说说这几种集群的应用场景：

高可用集群这里不多作说明。

想Dubbo是比较偏向于负载均衡集群，用过的猿友应该知道（不知道的可以自行了解一下），Dubbo同一个服务是可以有多个提供者的，当一个消费者过来，它要消费那个提供者，这里是有负载均衡机制在里面的。

搜索引擎Elasticsearch比较偏向于科学计算集群的分布计算。

而到这里，可能不少猿友都知道，集群的一些术语：集群容错、负载均衡。

我们以Dubbo为例：
集群容错（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E9%9B%86%E7%BE%A4%E5%AE%B9%E9%94%99）

Dubbo提供了这些容错策略：
集群容错模式：
可以自行扩展集群容错策略，参见：集群扩展
Failover Cluster
失败自动切换，当出现失败，重试其它服务器。(缺省)
通常用于读操作，但重试会带来更长延迟。
可通过retries="2"来设置重试次数(不含第一次)。

Failfast Cluster
快速失败，只发起一次调用，失败立即报错。
通常用于非幂等性的写操作，比如新增记录。

Failsafe Cluster
失败安全，出现异常时，直接忽略。
通常用于写入审计日志等操作。

Failback Cluster
失败自动恢复，后台记录失败请求，定时重发。
通常用于消息通知操作。

Forking Cluster
并行调用多个服务器，只要一个成功即返回。
通常用于实时性要求较高的读操作，但需要浪费更多服务资源。

可通过forks="2"来设置最大并行数。

Broadcast Cluster
广播调用所有提供者，逐个调用，任意一台报错则报错。(2.1.0开始支持)
通常用于通知所有提供者更新缓存或日志等本地资源信息。

负载均衡（http://bbo.io/User+Guide-zh.htm#UserGuide-zh-%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1）

Dubbo提供了这些负载均衡策略：

Random LoadBalance

随机，按权重设置随机概率。

在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。

RoundRobin LoadBalance
轮循，按公约后的权重设置轮循比率。
存在慢的提供者累积请求问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。

LeastActive LoadBalance
最少活跃调用数，相同活跃数的随机，活跃数指调用前后计数差。
使慢的提供者收到更少请求，因为越慢的提供者的调用前后计数差会越大。

ConsistentHash LoadBalance
一致性Hash，相同参数的请求总是发到同一提供者。
当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。
算法参见：http://en.wikipedia.org/wiki/Consistent_hashing。

缺省只对第一个参数Hash，如果要修改，请配置<bbo:parameter key="hash.arguments" value="0,1" />

缺省用160份虚拟节点，如果要修改，请配置<bbo:parameter key="hash.nodes" value="320" />

⑸ 求集群管理的相关知识！

集群技术案例介绍和具体操作

集群技术案例介绍和具体操作
中国科学院西安网络中心 中科红旗linux培训认证中心
集群技术
1.1 什么是集群
简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提
供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的
集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一
个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群
系统的节点。
1.2 为什么需要集群
集群并不是一个全新的概念，其实早在七十年代计算机厂商和研究机构就
开始了对集群系统的研究和开发。由于主要用于科学工程计算，所以这些系统并
不为大家所熟知。直到Linux集群的出现，集群的概念才得以广为传播。
对集群的研究起源于集群系统良好的性能可扩展性(scalability)。提高CPU
主频和总线带宽是最初提供计算机性能的主要手段。但是这一手段对系统性能的
提供是有限的。接着人们通过增加CPU个数和内存容量来提高性能，于是出现了
向量机，对称多处理机(SMP)等。但是当CPU的个数超过某一阈值，象SMP这些
多处理机系统的可扩展性就变的极差。主要瓶颈在于CPU访问内存的带宽并不能
随着CPU个数的增加而有效增长。与SMP相反，集群系统的性能随着CPU个数的
增加几乎是线性变化的。图1显示了这中情况。
图1. 几种计算机系统的可扩展性
对于关键业务，停机通常是灾难性的。因为停机带来的损失也是巨大的。下
面的统计数字列举了不同类型企业应用系统停机所带来的损失。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
应用系统每分钟损失(美元)
呼叫中心(Call Center) 27000
企业资源计划(ERP)系统13000
供应链管理(SCM)系统11000
电子商务(eCommerce)系统10000
客户服务(Customer Service Center)系统27000
图2：停机给企业带来的损失
随着企业越来越依赖于信息技术，由于系统停机而带来的损失也越拉越大。
集群系统的优点并不仅在于此。下面列举了集群系统的主要优点：
高可扩展性：如上所述。
高可用性：集群中的一个节点失效，它的任务可传递给其他节点。可以有效防止单点失效。
高性能：负载平衡集群允许系统同时接入更多的用户。
高性价比：可以采用廉价的符合工业标准的硬件构造高性能的系统。
2.1 集群系统的分类
虽然，根据集群系统的不同特征可以有多种分类方法，但是一般把集群系统分为两类：
（1）、高可用(High Availability)集群,简称HA集群。
这类集群致力于提供高度可靠的服务。就是利用集群系统的容错性对外提供7*24小时不间
断的服务，如高可用的文件服务器、数据库服务等关键应用。
目前已经有在Linux下的高可用集群，如Linux HA项目。
负载均衡集群：使任务可以在集群中尽可能平均地分摊不同的计算机进行处理，充分利
用集群的处理能力，提高对任务的处理效率。
在实际应用中这几种集群类型可能会混合使用，以提供更加高效稳定的服务。如在一个使
用的网络流量负载均衡集群中，就会包含高可用的网络文件系统、高可用的网络服务。
（2）、性能计算(High Perfermance Computing)集群，简称HPC集群，也称为科学计算
集群。
在这种集群上运行的是专门开发的并行应用程序，它可以把一个问题的数据分布到多
台的计算机上，利用这些计算机的共同资源来完成计算任务，从而可以解决单机不能胜任
的工作（如问题规模太大，单机计算速度太慢）。
这类集群致力于提供单个计算机所不能提供的强大的计算能力。如天气预报、石油勘探与油
藏模拟、分子模拟、生物计算等。这些应用通常在并行通讯环境MPI、PVM等中开发，由于MPI
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
是目前的标准，故现在多使用MPI为并行环境。
比较有名的集群Beowulf就是一种科学计算集群项目。
3、集群系统转发方式和调度算法
3．1转发方式
目前LVS主要有三种请求转发方式和八种调度算法。根据请求转发方式的不同，所构
架集群的网络拓扑、安装方式、性能表现也各不相同。用LVS主要可以架构三种形式的集群，
分别是LVS/NAT、LVS/TUN和LVS/DR，可以根据需要选择其中一种。
（1）、网络地址转换（LVS/NAT）
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
（2）、直接路由
（3）、IP隧道
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
三种转发方式的比较：
3．2、调度算法
在选定转发方式的情况下，采用哪种调度算法将决定整个负载均衡的性能表现，不同
的算法适用于不同的应用场合，有时可能需要针对特殊场合，自行设计调度算法。LVS的算
法是逐渐丰富起来的，最初LVS只提供4种调度算法，后来发展到以下八种：
1.轮叫调度（Round Robin）
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均
等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
2.加权轮叫（Weighted Round Robin）
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样
可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动询问真实服务器的
负载情况，并动态地调整其权值。
3.最少链接（Least Connections）
调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器
上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较
好地均衡负载。
4.加权最少链接（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自
动询问真实服务器的负载情况，并动态地调整其权值。
5.基于局部性的最少链接（Locality-Based Least Connections）
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache
集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务
器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且
有服务器处于一半的工作负载，则用“最少链接”的原则选出一个可用的服务器，将请求
发送到该服务器。
6. 带复制的基于局部性最少链接（ Locality-Based Least Connections with
Replication）
“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要
用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务
器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目
标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一
台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接
”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服
务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，
以降低复制的程度。
7.目标地址散列（Destination Hashing）
“目标地址散列”调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分
配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，
否则返回空。
8.源地址散列（Source Hashing）
“源地址散列”调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的
散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则
返回空。
了解这些算法原理能够在特定的应用场合选择最适合的调度算法，从而尽可能地保持
Real Server的最佳利用性。当然也可以自行开发算法，不过这已超出本文范围，请参考有
关算法原理的资料。
4．1、什么是高可用性
计算机系统的可用性(availability)是通过系统的可靠性(reliability)和可维护性
(maintainability)来度量的。工程上通常用平均无故障时间(MTTF)来度量系统的可靠性，
用平均维修时间（MTTR）来度量系统的可维护性。于是可用性被定义为：
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
MTTF/(MTTF+MTTR)*100%
业界根据可用性把计算机系统分为如下几类：
可用比例
(Percent
Availability)
年停机时间
(downtime/year
)
可用性分类
99.5 3.7天
常规系统
(Conventional)
99.9 8.8小时可用系统(Available)
99.99 52.6分钟
高可用系统(Highly
Available)
99.999 5.3分钟Fault Resilient
99.9999 32秒Fault Tolerant
为了实现集群系统的高可用性，提高系统的高可性，需要在集群中建立冗余机制。一个功
能全面的集群机构如下图所示
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
负载均衡服务器的高可用性
为了屏蔽负载均衡服务器的失效，需要建立一个备份机。主服务器和备份机上都运行
High Availability监控程序，通过传送诸如“I am alive”这样的信息来监控对方的运
行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并
继续提供服务；当备份管理器又从主管理器收到“I am alive”这样的信息是，它就释放
服务IP地址，这样的主管理器就开开始再次进行集群管理的工作了。为在住服务器失效的
情况下系统能正常工作，我们在主、备份机之间实现负载集群系统配置信息的同步与备份，
保持二者系统的基本一致。
HA的容错备援运作过程
自动侦测(Auto-Detect)阶段 由主机上的软件通过冗余侦测线，经由复杂的监听程序。逻
辑判断，来相互侦测对方运行的情况，所检查的项目有：
主机硬件(CPU和周边)
主机网络
主机操作系统
数据库引擎及其它应用程序
主机与磁盘阵列连线
为确保侦测的正确性，而防止错误的判断，可设定安全侦测时间，包括侦测时间间隔，
侦测次数以调整安全系数，并且由主机的冗余通信连线，将所汇集的讯息记录下来，以供
维护参考。
自动切换(Auto-Switch)阶段 某一主机如果确认对方故障，则正常主机除继续进行原来的
任务，还将依据各种容错备援模式接管预先设定的备援作业程序，并进行后续的程序及服
务。
自动恢复(Auto-Recovery)阶段 在正常主机代替故障主机工作后，故障主机可离线进行修
复工作。在故障主机修复后，透过冗余通讯线与原正常主机连线，自动切换回修复完成的
主机上。整个回复过程完成由EDI-HA自动完成，亦可依据预先配置，选择回复动作为半自
动或不回复。
4．2、HA三种工作方式：
（1）、主从方式 （非对称方式）
工作原理：主机工作，备机处于监控准备状况；当主机宕机时，备机接管主机的一切工作，
待主机恢复正常后，按使用者的设定以自动或手动方式将服务切换到主机上运行，数据的
一致性通过共享存储系统解决。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
（2）、双机双工方式（互备互援）
工作原理：两台主机同时运行各自的服务工作且相互监测情况，当任一台主机宕机时，另
一台主机立即接管它的一切工作，保证工作实时，应用服务系统的关键数据存放在共享存
储系统中。
（3）、集群工作方式（多服务器互备方式）
工作原理：多台主机一起工作，各自运行一个或几个服务，各为服务定义一个或多个备用
主机，当某个主机故障时，运行在其上的服务就可以被其它主机接管。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
相关文档
http://tech.sina.com.cn/it/2004-04-09/1505346805.shtml
http://stonesoup.esd.ornl.gov
LINUX下的集群实列应用
最近有客户需要一个负载均衡方案，笔者对各种软硬件的负载均衡方案进行了调查和
比较，从IBM sServer Cluster、Sun Cluster PlatForm 等硬件集群，到中软、红旗、
TurboLinux的软件集群，发现无论采用哪个厂商的负载均衡产品其价格都是该客户目前所
不能接受的。于是笔者想到了开放源项目Linux Virtual Server(简称LVS)。经过对LVS的研
究和实验，终于在Red Hat 9.0上用LVS成功地构架了一组负载均衡的集群系统。整个实
现过程整理收录如下，供读者参考。
选用的LVS实际上是一种Linux操作系统上基于IP层的负载均衡调度技术，它在操
作系统核心层上，将来自IP层的TCP/UDP请求均衡地转移到不同的服务器，从而将一组
服务器构成一个高性能、高可用的虚拟服务器。使用三台机器就可以用LVS实现最简单的集
群，如图1所示。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
图1 LVS实现集群系统结构简图
图1显示一台名为Director的机器在集群前端做负载分配工作；后端两台机器称之为
Real Server，专门负责处理Director分配来的外界请求。该集群的核心是前端的Director
机器，LVS就是安装在这台机器上，它必须安装Linux。Real Server则要根据其选用的负
载分配方式而定，通常Real Server上的设置比较少。接下来介绍Director机器上LVS的
安装过程。
安装
LVS的安装主要是在Director机器上进行，Real Server只需针对不同的转发方式做简单
的设定即可。特别是对LVS的NAT方式，Real Server惟一要做的就是设一下缺省的网关。
所以构架集群的第一步从安装Director机器开始。
首先，要在Director机器上安装一个Linux操作系统。虽然早期的一些Red Hat版本，
如6.2、7.2、8.0等自带Red Hat自己的集群软件，或者是在内核中已经支持LVS，但是为
了更清楚地了解LVS的机制，笔者还是选择自行将LVS编入Linux内核的方式进行安装，
Linux版本采用Red Hat 9.0。
如果用户对Red Hat的安装比较了解，可以选择定制安装，并只安装必要的软件包。
安装中请选择GRUB 做为启动引导管理软件。因为GRUB 在系统引导方面的功能远比
LILO强大，在编译Linux内核时可以体会它的方便之处。
LVS是在Linux内核中实现的，所以要对原有的Linux内核打上支持LVS的内核补丁，
然后重新编译内核。支持LVS 的内核补丁可以从LVS 的官方网
http://www.linuxvirtualserver.org 下载，下载时请注意使用的Linux核心版本，必须下载和
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
使用的Linux内核版本相一致的LVS内核补丁才行。对于Red Hat 9.0，其Linux内核版本
是2.4.20，所以对应内核补丁应该是http://www.linuxvirtualserver.org/software/kernel-
2.4/linux-2.4.20-ipvs-1.0.9.patch.gz。笔者经过多次实验，使用Red Hat 9.0自带的Linux
源代码无法成功编译LVS 的相关模组。由于时间关系笔者没有仔细研究，而是另外从
kernel.org上下载了一个tar包格式的2.4.20内核来进行安装，顺利完成所有编译。下面是
整个内核的编译过程：
1.删除Red Hat自带的Linux源代码
# cd /usr/src
# rm -rf linux*
2.下载2.4.20内核
# cd /usr/src
# wget ftp://ftp.kernel.org/pub/linux/kernel/v2.4/linux-2.4.20.tar.bz2
3.解压到当前目录/usr/src
# cd /usr/src
# tar -xjpvf linux-2.4.20.tar.bz2
4.建立链接文件
# cd /usr/src # ln -s linux-2.4.20 linux-2.4 # ln -s linux-2.4.20 linux
5.打上LVS的内核补丁
# cd /usr/src
#wget http://www.linuxvirtualserver.org/software/kernel-2.4/linux-2.4.20-ipvs-
1.0.9.patch.gz
# gzip -cd linux-2.4.20-ipvs-1.0.9.patch.gz
# cd /usr/src/linux
# patch -p1 < ../linux-2.4.20-ipvs-1.0.9.patch
在打补丁时，注意命令执行后的信息，不能有任何错误信息，否则核心或模组很可能
无法成功编译。
6.打上修正ARP问题的内核补丁
# cd /usr/src
# wget http://www.ssi.bg/~ja/hidden-2.4.20pre10-1.diff
# cd /usr/src/linux
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
# patch -p1 < ../hidden-2.4.20pre10-1.diff
这一步在Director机器上可以不做，但是在使用LVS/TUN和LVS/DR方式的Real Server
上必须做。
7.为新核心命名
打开/usr/src/linux/Makefile。注意，在开始部分有一个变量EXTRAVERSION可以自行定
义。修改这个变量，比如改成“EXTRAVERSION=-LVS”后，编译出的核心版本号就会显
示成2.4.20-LVS。这样给出有含义的名称将有助于管理多个Linux核心。
8.检查源代码
# make mrproper
这一步是为确保源代码目录下没有不正确的.o文件及文件的互相依赖。因为是新下载的内
核，所以在第一次编译时，这一步实际可以省略。
9.配置核心选项
# make menuconfig
命令执行后会进入一个图形化的配置界面，可以通过这个友好的图形界面对内核进行定制。
此过程中，要注意对硬件驱动的选择。Linux支持丰富的硬件，但对于服务器而言，用不到
的硬件驱动都可以删除。另外，像Multimedia devices、Sound、Bluetooth support、Amateur
Radio support等项也可以删除。
注意，以下几项配置对LVS非常重要，请确保作出正确的选择：
(1)Code maturity level options项
对此项只有以下一个子选项，请选中为*，即编译到内核中去。
Prompt for development and/or incomplete code/drivers
(2)Networking options项
对此项的选择可以参考以下的配置，如果不清楚含义可以查看帮助：
<*> Packet socket
[ ] Packet socket: mmapped IO
< > Netlink device emulation
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
Network packet filtering (replaces ipchains)
[ ] Network packet filtering debugging
Socket Filtering
<*> Unix domain sockets
TCP/IP networking
IP: multicasting
IP: advanced router
IP: policy routing
[ ] IP: use netfilter MARK value as routing key
[ ] IP: fast network address translation
<M> IP: tunneling
IP: broadcast GRE over IP
[ ] IP: multicast routing
[ ] IP: ARP daemon support (EXPERIMENTAL)
[ ] IP: TCP Explicit Congestion Notification support
[ ] IP: TCP syncookie support (disabled per default)
IP: Netfilter Configuration --->
IP: Virtual Server Configuration --->
(3)Networking options项中的IP: Virtual Server Configuration项
如果打好了LVS的内核补丁，就会出现此选项。进入Virtual Server Configuration选项，
有以下子选项：
<M> virtual server support (EXPERIMENTAL)
IP virtual server debugging
(12) IPVS connection table size (the Nth power of 2)
--- IPVS scheler
<M> round-robin scheling
<M> weighted round-robin scheling
<M> least-connection scheling scheling
<M> weighted least-connection scheling
<M> locality-based least-connection scheling
<M> locality-based least-connection with replication scheling
<M> destination hashing scheling
<M> source hashing scheling
<M> shortest expected delay scheling
<M> never queue scheling
--- IPVS application helper
<M> FTP protocol helper
以上所有项建议全部选择。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
(4)Networking options项中的IP: Netfilter Configuration项
对于2.4版本以上的Linux Kernel来说，iptables是取代早期ipfwadm和ipchains的
更好选择，所以除非有特殊情况需要用到对ipchains和ipfwadm的支持，否则就不要选它。
本文在LVS/NAT方式中，使用的就是iptables，故这里不选择对ipchains和ipfwadm的
支持：
< > ipchains (2.2-style) support
< > ipfwadm (2.0-style) support
10. 编译内核
(1)检查依赖关系
# make dep
确保关键文件在正确的路径上。
(2)清除中间文件
# make clean
确保所有文件都处于最新的版本状态下。
(3)编译新核心
# make bzImage
(4)编译模组
# make moles
编译选择的模组。
(5)安装模组
# make moles_install
# depmod -a
生成模组间的依赖关系，以便modprobe定位。
(6)使用新模组
# cp System.map /boot/System.map-2.4.20-LVS
# rm /boot/System.map
# ln -s /boot/System.map-2.4.20-LVS /boot/System.map
# cp arch/i386/boot/bzImage /boot/vmlinuz-2.4.20-LVS
# rm /boot/vmlinuz
# ln -s /boot/vmlinuz-2.4.20-LVS /boot/vmlinuz
# new-kernel-pkg --install --mkinitrd --depmod 2.4.20-LVS
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
(7)修改GRUB，以新的核心启动
执行完new-kernel-pkg命令后，GRUB的设置文件/etc/grub.conf中已经增加了新核心的
启动项，这正是开始安装Linux时推荐使用GRUB做引导程序的原因。
grub.conf中新增内容如下：
title Red Hat Linux (2.4.20-LVS)
root (hd0,0)
kernel /boot/vmlinuz-2.4.20LVS ro root=LABEL=/
initrd /boot/initrd-2.4.20LVS.img
将Kernel项中的root=LABEL=/改成 root=/dev/sda1 (这里的/dev/sda1是笔者Linux的根
分区，读者可根据自己的情况进行不同设置）。
保存修改后，重新启动系统:
# reboot
系统启动后，在GRUB的界面上会出现Red Hat Linux(2.4.20-LVS)项。这就是刚才编译的
支持LVS的新核心，选择此项启动，看看启动过程是否有错误发生。如果正常启动，ipvs
将作为模块加载。同时应该注意到，用LVS的内核启动后在/proc目录中新增了一些文件，
比如/proc/sys/net/ipv4/vs/*。
11.安装IP虚拟服务器软件ipvsadm
用支持LVS的内核启动后，即可安装IP虚拟服务器软件ipvsadm了。用户可以用tar包或
RPM 包安装，tar 包可以从以下地址http://www.linuxvirtualserver.org/software/kernel-
2.4/ipvsadm-1.21.tar.gz 下载进行安装。
这里采用源RPM包来进行安装：
# wget http://www.linuxvirtualserver.org/software/kernel-2.4/ipvsadm-1.21-7.src.rpm
# rpmbuild --rebuild ipvsadm-1.21-7.src.rpm
# rpm -ivh /usr/src/redhat/RPMS/i386/ipvsadm-1.21-7.i386.rpm
注意：高版本的rpm命令去掉了--rebuild这个参数选项，但提供了一个rpmbuild命令来实
现它。这一点和以前在Red Hat 6.2中以rpm—rebuild XXX.src.rpm来安装源RPM包的习
惯做法有所不同。
安装完，执行ipvsadm命令，应该有类似如下的信息出现：
# ipvsadm
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
出现类似以上信息，表明支持LVS 的内核和配置工具ipvsadm 已完全安装，这台
Director机器已经初步安装完成，已具备构架各种方式的集群的条件。
实例
理解了上述关于请求转发方式和调度算法的基本概念后，就可以运用LVS来具体实现
几种不同方式的负载均衡的集群系统。LVS的配置是通过前面所安装的IP虚拟服务器软件
ipvsadm来实现的。ipvsadm与LVS的关系类似于iptables和NetFilter的关系，前者只是
一个建立和修改规则的工具，这些命令的作用在系统重新启动后就消失了，所以应该将这
些命令写到一个脚本里，然后让它在系统启动后自动执行。网上有不少配置LVS的工具，
有的甚至可以自动生成脚本。但是自己手工编写有助于更深入地了解，所以本文的安装没
有利用其它第三方提供的脚本，而是纯粹使用ipvsadm命令来配置。
下面就介绍一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的负载均衡集群。
1.设定LVS/NAT方式的负载均衡集群
NAT是指Network Address Translation，它的转发流程是：Director机器收到外界请求，
改写数据包的目标地址，按相应的调度算法将其发送到相应Real Server上，Real Server
处理完该请求后，将结果数据包返回到其默认网关，即Director机器上，Dire

⑹ 企业级k8s集群部署

二进制包

注：推荐用二进制包部署Kubernetes集群，虽手动部署麻烦，但可以学习很多工作原理利于后期维护。

环境

可以使用VMware虚拟机，宿主机必须8G内存以上

• 服务器可以访问外网，有从网上拉取镜像的需求

单Master服务器规划：（ 注：部署时候根据具体环境进行IP地址调整即可 ）

这里使用3台组建集群，可容忍1台机器故障，当然，你也可以使用5台组建集群

etcd1： 192.168.3.110 etcd2： 192.168.3.112 etcd3： 192.168.3.113

cfssl是一个开源的证书管理工具，使用json文件生成证书，相比openssl更方便使用。

找任意一台服务器操作，这里用Master节点。

创建工作目录：

自签CA：

生成证书：

会生成ca.pem和ca-key.pem文件。

创建证书申请文件：

注：上述文件hosts字段中IP为所有etcd节点的集群内部通信IP，一个都不能少！为了方便后期扩容可以多写几个预留的IP。

生成证书：

会生成etcd.pem和etcd-key.pem文件。

https://github.com/etcd-io/etcd/releases/download/v3.5.1/ etcd-v3.5.1-linux-amd64.tar.gz

以下在节点1上操作，然后将文件拷贝到其他集群机器

把刚才生成的证书拷贝到配置文件中的路径：

注意修改节点2和节点3分别etcd.conf配置，按照下面提示的修改

启动各节点的etcd服务

如果输出上面信息，就说明集群部署成功。

如果有问题看日志：/var/log/message

docker二进制下载地址：

https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

注：使用yum安装也行

集群所有机器都安装docker

生成证书：

会生成ca.pem和ca-key.pem文件。

创建证书申请文件：

生成证书：

会生成k8s.pem和k8s-key.pem文件。

下载地址参考：

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.20.md

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.20.md#downloads-for-v12013

Wget https://dl.k8s.io/v1.20.13/kubernetes-server-linux-amd64.tar.gz

把刚才生成的证书拷贝到配置文件中的路径：

TLS Bootstrapping 机制，对work-node加入进行自签证书用

创建上述配置文件中token文件：

token 可以自行生产，网络下怎么生产

kube-apiserver服务

生成kube-controller-manager证书：

生成kubeconfig文件（以下是shell命令，直接在终端执行）：

生成kube-scheler证书：

生成kubeconfig文件：

生成kubeconfig文件：

通过kubectl工具查看当前集群组件状态：

在所有worker node创建工作目录：

从master节点拷贝：

注：由于网络插件还没有部署，节点会没有准备就绪 NotReady

二进制包下载地址：https://github.com/containernetworking/plugins/releases

确保kubelet启用CNI：

在Master执行：

应用场景：例如kubectl logs

在Master节点将Worker Node涉及文件拷贝到新节点192.168.3.112/113

注：这几个文件是证书申请审批后自动生成的，每个Node不同，必须删除

Node2（192.168.3.113 ）节点同上。记得修改主机名！

访问地址：https://NodeIP:30001

创建service account并绑定默认cluster-admin管理员集群角色：

使用输出的token登录Dashboard。

CoreDNS用于集群内部Service名称解析。

DNS解析测试：

这样 单Master集群就搭建完成了