linux集群搭建

❶ 如何在虛擬機中搭建linux集群

你需要一台伺服器，然後裝一個虛擬化OS，有了這個平台，就可以虛擬化出若干個虛擬機。當然，現在選擇雲商也可以，就是得花點錢。

❷ rocketmq單個機器怎麼搭建集群在linux

linux伺服器集群平台的搭建比較簡單，有專門的均衡軟體，比如lvs，lvs是一個集群系統，由很多伺服器組成，可以根據需要，把它門分為三層，一層是前端機，用於均衡，相當於公平為系統分配工作，二層是伺服器群，比如web伺服器群，DNS，mail群等，這些就是接待員，把均衡器分配的工作進行處理，第三層是存儲設備，用於存儲數據，相當於檔案庫。
知道這些後，要搭建就非常容易，有現成的軟體，比如我有四台web伺服器，2台資料庫，1台前置機 ，安裝linux系統，安裝lvs軟體，比如
heartbeat-2.1.4-9.el5.i386.rpm
heartbeat-ldirectord-2.1.4-9.el5.i386.rpm
libnet-1.1.4-3.el5.i386.rpm
heartbeat-devel-2.1.4-9.el5.i386.rpm
heartbeat-pils-2.1.4-10.el5.i386.rpm
perl-MailTools-1.77-1.el5.noarch.rpm
heartbeat-gui-2.1.4-9.el5.i386.rpm
heartbeat-stonith-2.1.4-10.el5.i386.rpm
當然還需要配置，你可以自己網路有關lvs集群的詳細安裝說明。希望能幫助你。

❸ 同一網段三台linux伺服器怎樣搭建集群

三台只能是互相切換,真正的負載集群,一般常規構架：前端一台調度器，中間三台或以上web處理伺服器，後端一台文件伺服器（文件伺服器上存放web和資料庫）

❹ 什麼是Linux集群

集群通信系統是一種計算機系統，
它通過一組鬆散集成的計算機軟體和/或硬體連接起來高度緊密地協作完成計算工作。簡單地說，集群(cluster)就是一組計算機，它們作為一個整體向用戶提供一組網路資源。這些單個的計算機系統就是集群的節點(node)。一個理想的集群，用戶是不會意識到集群系統底層的節點的。在他們看來，集群是一個系統，而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群系統的節點。
集群已不是一個全新的概念，早在七十年代計算機廠商和研究機構就對集群系統進行了研究和開發。這些系統不為大家熟知，是因為它主要用於科學工程計算。直到Linux集群的出現，集群的概念才得以廣泛傳播。集群系統主要分為高可用(High
Availability)集群，簡稱HA集群，和高性能計算(High Perfermance Computing)集群，簡稱HPC集群。
在Linux出現前，集群系統採用的操作系統主要有VMS、UNIX和WindowsNT。到九十年代末期，linux操作系統不斷走向成熟，它的健壯性不斷增強，並且提供了GNU軟體和標准化的PVM、MPI消息傳遞機制，最重要的是Linux在普通PC機上提供了對高性能網路的支持，這樣就大大推動了基於Linux的集群系統的普及和發展。

❺ 伺服器集群怎麼搭建Linux平台的

linux伺服器集群平台的搭建比較簡單，有專門的均衡軟體，比如lvs，lvs是一個集群系統，由很多伺服器組成，可以根據需要，把它門分為三層，一層是前端機，用於均衡，相當於公平為系統分配工作，二層是伺服器群，比如web伺服器群，DNS，mail群等，這些就是接待員，把均衡器分配的工作進行處理，第三層是存儲設備，用於存儲數據，相當於檔案庫。

知道這些後，要搭建就非常容易，有現成的軟體，比如我有四台web伺服器，2台資料庫，1台前置機 ，安裝linux系統，安裝lvs軟體，比如
heartbeat-2.1.4-9.el5.i386.rpm
heartbeat-ldirectord-2.1.4-9.el5.i386.rpm
libnet-1.1.4-3.el5.i386.rpm
heartbeat-devel-2.1.4-9.el5.i386.rpm
heartbeat-pils-2.1.4-10.el5.i386.rpm
perl-MailTools-1.77-1.el5.noarch.rpm
heartbeat-gui-2.1.4-9.el5.i386.rpm
heartbeat-stonith-2.1.4-10.el5.i386.rpm
當然還需要配置，你可以自己網路有關lvs集群的詳細安裝說明。希望能幫助你。

❻ Linux系統 CentOS 7怎麼搭建集群

CentOS 7下怎麼搭建高可用集群。高可用集群是指以減少服務中斷時間為目的的伺服器集群技術。它通過保護用戶的業務程序對外不間斷提供的服務，把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度。那麼新的centos下怎麼來搭建高可用集群。環境：本文以兩台機器實現雙集熱備高可用集群，主機名node1的IP為192.168.122.168 ，主機名node2的IP為192.168.122.169 。
一、安裝集群軟體必須軟體pcs，pacemaker，corosync，fence-agents-all，如果需要配置相關服務，也要安裝對應的軟體
二、配置防火牆
1、禁止防火牆和selinux
修改/etc/sysconfig/selinux確保SELINUX=disabled，然後執行setenforce 0或者reboot伺服器以生效
2、設置防火牆規則
三、各節點之間主機名互相解析分別修改2台主機名分別為node1和node2，在centos 7中直接修改/etc/hostname加入本機主機名和主機表，然後重啟網路服務即可。
配置2台主機的主機表，在/etc/hosts中加入
四、各節點之間時間同步在node1和node2分別進行時間同步，可以使用ntp實現。
五、各節點之間配置ssh的無密碼密鑰訪問。下面的操作需要在各個節點上操作。
兩台主機都要互相可以通信，所以兩台主機都得互相生成密鑰和復制公鑰，相互的節點上的hosts文件是都要解析對方的主機名， 192.168.122.168 node1 192.168.122.169 node2
六、通過pacemaker來管理高可用集群
1、創建集群用戶
為了有利於各節點之間通信和配置集群，在每個節點上創建一個hacluster的用戶，各個節點上的密碼必須是同一個。

❼ 怎樣在linux系統上搭建Hadoop集群

（1）下載jdk，在官網下載，下載rpm的包
（2）hadoop包的下載，官網上下載
download hadoop->release->mirror site(鏡像站)->隨便選擇離自己近的（HTTP下的第一個）->選擇2.7.2->下載.tar.gz
（3）將兩個包遠程傳輸到linux虛擬機中
（4）將主機名和ip地址進行適配，讓我們的ip地址和主機名（如bigdata）相匹配：寫到/etc/hosts裡面
vi /etc/hosts
按「i」進入插入狀態 將原有的地址注釋掉
在新的一行輸入：ip地址 主機名（如172.17.171.42 bigdata）（註：可以雙擊xshell的窗口再打開一個連接窗口，可以在新的窗口查詢ip地址並進行復制）
按「Esc」退出插入狀態
輸入：wq保存退出
修改完之後可以輸入hostname回車，查看是否成功
reboot：重啟，使得剛剛的修改生效
（5）將包放到opt下：cp hadoop-2.7.2.tar.gz /opt/
cp jdk-8u111-linux-x64.rpm /opt/
進入opt：cd /opt/
查看opt下的文件：ll
（6）安裝jdk，配置jdk的環境變數
安裝命令：rpm -ivh jdk-Bu101-linux-x64.rpm
配置環境變數：進入profile進行編輯：vi /etc/profile
並按照上面的方式在最後寫入並保存：java_HOME=/usr/java/default/（/usr/java/default/是jdk的安裝目錄）
列印JAVA_HOME檢驗是否配置好：echo $JAVA_HOME結果發現列印出來的沒有內容因為我們對/etc/profile的修改需要通過以下命令對它生效source /etc/profile。再次輸入echo $JAVA_HOME，列印結果為/usr/java/default/
（7）驗證jdk安裝好：java -version
（8）配置SSH（免密碼登錄）
回到根目錄：cd 安裝SSH秘鑰：ssh-keygen -t rsa會自動在/root/.shh/目錄下生成
查看目錄：ll .ssh/有兩個新生成的文件id_rsa(私鑰)，id_rsa.pub(公鑰)
進入.ssh/:cd .ssh/
將公鑰寫入authorized_key中：cat id_rsa.pub >> authorized_keys
修改authorized_keys文件的許可權：chmod 644 authorized_keys
修改完後退出.ssh的目錄cd進入初始目錄輸入：ssh bigdata（bigdata為你要遠程登錄的主機名或者ip地址）第一次登錄需要確認是否需要繼續登錄輸入yes繼續登錄
退出exit
（9）安裝及配置hadoop
解壓:tar zxf hadoop-2.7.2.tar.gz
查看/opt目錄下是否已經存在解壓的文件：ll（結果為出現hadoop-2.7.2）
繼續查看hadoop-2.7.2里的內容：cd hadoop-2.7.2
配置HADOOP_HOME:修改/etc/profile
進入hadoop的配置文件目錄cd /opt/hadoop-2.7.2/etc/hadoop/，會用的的配置文件如下：
core-site.xml
配置hadoop的文件系統即HDFS的埠是什麼。
配置項1為default.name，值為hdfs://bigdata:9000（主機名：bigdata也可也寫成ip地址，埠9000習慣用）
配置項2為hadoop臨時文件，其實就是配置一個目錄，配置完後要去創建這個目錄，否則會存在問題。
配置項3分布式文件系統的垃圾箱，值為4320表示3分鍾回去清理一次

<property>
<name>fs.default.name</name>
<value>hdfs://bigdata:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.2/current/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>4320</value>
</property>
hdfs-site.xml
配置項1，namenode的細節實際上就是一個目錄
配置項2，datanode的細節，真實環境中datanode的內容不需要再namenode的系統下配置，在此配置的原因是我們的系統是偽分布式系統，namenode和datanode在一台機器上
配置項3，副本的數量，在hdfs中每個塊有幾個副本
配置項4，HDFS是否啟用web
配置項5，HDFS的用戶組
配置項6，HDFS的許可權，現在配置為不開啟許可權

<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.7.2/current/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.7.2/current/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions.superusergroup</name>
<value>staff</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
創建配置文件中不存在的目錄：mkdir -p /opt/hadoop-2.7.2/current/data
mkdir -p /opt/hadoop-2.7.2/current/dfs/name
mkdir -p /opt/hadoop-2.7.2/current/tmp
yarn-site.xml
配置項1，resourcemanager的hostname，值為你運行的那台機器的主機名或IP地址
配置項2，nodemanager相關的東西
配置項3，nodemanager相關的東西
配置項4，resourcemanager的埠，主機名+埠號（IP+埠）
配置項5，resourcemanager調度器的埠
配置項6，resourcemanager.resource-tracker,埠
配置項7，埠
配置項8，埠
配置項9，日誌是否啟動
配置項10，日誌保留的時間長短（以秒為單位）
配置項11，日誌檢查的時間
配置項12，目錄
配置項13，目錄的前綴

<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>maprece_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.maprece.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>bigdata:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheler.address</name>
<value>bigdata:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>bigdata:18025</value>
</property> <property>
<name>yarn.resourcemanager.admin.address</name>
<value>bigdata:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>bigdata:18088</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
<property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>86400</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
</property>
mapred-site.xml
沒有mapred-site.xml，輸入vi mapred-按「TAB」發現有mapred-site.xml.template，對該文件進行復制
cp mapred-site.xml.template mapred-site.xml 配置項1，maprece的框架
配置項2，maprece的通信埠
配置項3，maprece的作業歷史記錄埠
配置項4，maprece的作業歷史記錄埠
配置項5，maprece的作業歷史記錄已完成的日誌目錄，在hdfs上
配置項6，maprece中間完成情況日誌目錄
配置項7，maprece的ubertask是否開啟

<property>
<name>maprece.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>maprece.jobtracker.http.address</name>
<value>bigdata:50030</value>
</property>
<property>
<name>maprece.jobhisotry.address</name>
<value>bigdata:10020</value>
</property>
<property>
<name>maprece.jobhistory.webapp.address</name>
<value>bigdata:19888</value>
</property>
<property>
<name>maprece.jobhistory.done-dir</name>
<value>/jobhistory/done</value>
</property>
<property>
<name>maprece.intermediate-done-dir</name>
<value>/jobhisotry/done_intermediate</value>
</property>
<property>
<name>maprece.job.ubertask.enable</name>
<value>true</value>
</property>
slaves

bigdata
hadoop-env.sh

JAVA_HOME＝/usr/java/default/
格式化分布式文件系統（hdfs）：hdfs namenode -format
成功的標志： INFO common.Storage: Storage directory /opt/hadoop-2.7.2/current/dfs/namehas been successfully formatted.
啟動Hadoop集群：/opt/hadoop-2.7.2/sbin/start-all.sh
驗證Hadoop集群是否正常啟動：
jps，系統中運行的java進程;
通過埠查看（關閉防火牆或者service iptables stop在防火牆的規則中開放這些埠）：
http://bigdata:50070(http://http://192.168.42.209/:50070)，分布式文件系統hdfs的情況
yarn http://bigdata:18088(http://http://192.168.42.209/:50070)

❽ 如何在linux搭建mongodb集群詳解

mongoDB 副本集適合寫比較少，讀較多的場景，寫可以使用消息隊列來進行控制，這樣可以減少高並發寫帶來的壓力。副本集的使用場景要根據自己的項目需求來選擇，要是有著高並發的寫需求，建議採用分片的方式搭建集群，在穩定性方面要比副本集要高。我這里的使用場景是將寫入操作用隊列控制，主要是查詢多。 副本集中的副本節點在主節點掛掉後通過心跳機制檢測到後，就會在集群內發起主節點的選舉機制，自動選舉一位新的主伺服器。
主節點故障後會實現自動切換，節點數量一定要大於等於3，否則可能會出現選主錯誤。官方建議為奇數節點，我這里使用3個節點。
在各個節點上分別安裝mongoDB
mkdir /data/mongo/replset
#存放mongodb數據文件
mkdir -p /data/mongo/replset/data
#進入mongodb文件夾
cd /data/mongo
下載到部署包
wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.12.tar
tar xzvf mongodb-linux-x86_64-2.4.12.tar
接下來在各個機器上啟動，命令如下：
/data/mongo/mongodb-linux-x86_64-2.4.12/bin/mongod --fork --dbpath /data/mongo/replset/data --logpath=/data/mongo/logs/logs.info --replSet repset
注意：是後台啟動，要加上fork
在三台機器上任意一台機器登陸mongodb
/data/mongo/mongodb-linux-x86_64-2.4.12/bin/mongo
use admin
定義副本集配置變數
config = { _id:"repset",
members:[
{_id:0,host:"x.x.x.8:27017"},
{_id:1,host:"x.x.x.9:27017"},
{_id:2,host:"x.x.x.10:27017"}
]} 配置成功後入如圖
初始化副本集
rs.initiate(config);
查看集群節點的狀態
rs.status();
測試副本集是否同步
在主節點上登陸
/data/mongo/mongodb-linux-x86_64-2.4.12/bin/mongo 127.0.0.1或者本機節點IP
建立測試資料庫
use test;
db.testdb.insert({"demo":"demo"})
再到其他副本機器上查看，數據已經同步。
可以停掉主節點，然後看看自動選主的效果。

❾ 如何在linux中搭建分布式集群

你可在安裝上vmware，然後用vmware安裝多個系統，這樣可以實現你的要求，但是必須每個系統給的內存很小，要不然你的電腦會很卡的。

❿ 如何利用Linux和GFS打造集群存儲

負載均衡是一項困難的任務。我們經常需要通過NFS(網路文件系統)或其他機制來為數據提供中心地址，從而共享文件系統。雖然你的安全機制可能可以讓你免於Web伺服器節點的故障，但是你仍然需要通過中央存儲節點來共享數據。
通過GFS(全局文件系統)——Linux的一個免費集群文件系統——你可以創建一個不需要依賴其他伺服器的真正穩定的集群。在這篇文章中，我們將展示如何正確地設置GFS.
從概念上來說，一個集群文件系統可以允許多個操作系統載入同一個文件系統並可以在同一時間內向同一文件系統寫入數據。現在有許多集群文件系統，包括Sun的Lustre，Oracle的OCFS(Oracle集群文件系統)，以及Linux的GFS.
有許多方法可以讓一個塊設備同時被多個伺服器所使用。你可以分區出一個對多個伺服器都可視的SAN(存儲區域網)LUN(邏輯單元號)，設置好相應的iSCSI(互聯網小型計算機系統介面)，或使用DRBD(分布式復制塊設備)在兩台伺服器之間復制一個分區。在使用DRBD的時候，你將需要在主/主節點中設置好DRBD以使用GFS.
GFS要求
運行GFS意味著你在運行一個集群。目前為止，運行GFS的最簡單的手段就是使用Red Hat Cluster Suite(RHCS：Red Hat集群套件)。這個套件在CentOS中就有。此外，還需要下面這些包：cman——集群管理器;lvm2-cluster——使LVM(邏輯卷管理器)可以支持集群的CLVM(集群邏輯卷管理器)包;kmod-gfs——GFS內核模塊;最後是gfs-utils.
集群管理器(cman)包含必要的工具，比如分布式鎖管理器。除非你希望花時間來確認各種不同的分發版本是如何採用cman的，否則我們強烈推薦使用CentOS或RHEL.同時，你還將獲得RH(Red Hat)所維護的各種最新版本的集群服務，此外你還可以獲得一個比較穩定的環境。
Fencing(阻絕)機制是絕對必要的。一些指導性文章建議將阻絕模式設定成"手動"，因為阻絕設置有可能比較復雜。阻絕意味在集群中進行隔離，或馬上中斷某些危險節點的運作。如果集群無法阻絕某個發生故障的節點，那麼你的GFS將會出現很多問題，因此不要跳過這個步驟。
創建集群設置
你可以通過/etc/cluster/裡面的cluster.conf完成大部分的集群設置。我不建議使用各種集群管理應用程序來創建這個設置文件。即使是完全支持的RHEL應用程序，比如兩個月前發布的Conga，也經常會創建一些無效的cluster.conf文件，並且無法被必要的服務所解析。
下面是一個cluster.conf文件的例子。這個設置文件採用漂亮的XML格式，其內容非常直接。首先，我們對集群進行命名，我們將這個集群稱作"Web.1".
先跳過fence daemon選項，下一個部分就是集群主體的設置內容。你需要在clusternodes部分定義兩個節點。設置文件將同時存放在兩個節點上，這樣這兩個節點就都知道彼此的情況。
集群內的每個節點都聲明其阻絕方式的名稱是獨一無二的。在clusternames結束標簽下面，我們看到fencedevice部分定義了每個節點如何阻絕其他節點的方式。使用一個支持IPMI(智能平台管理介面)的伺服器是最好的方式，而且其設置也是相當簡單。你只要將IPMI的地點以及登錄方式告訴IP就可以了。為了避免在cluster.conf中留下密碼，你可以將它指向一個由根所擁有的腳本並由這個腳本來返回密碼。
我們還要指出的是我們在設置中定義了兩個節點。這是必須的，因為通常來說，除非大部分節點都同意自己的狀態，否則集群無法達到"Quorate"狀態。如果只有兩個節點的話，沒有肯定多數，因此這種方式讓集群只能在兩個節點下工作，而不能只在只有一個節點的情況下工作。這是設置基本集群的必要方式。
在每個節點上運行"service cman start"，系統應該可以開始正常運作。你可以檢查"clustat"或"cman nodes"來確認節點是否良好運行。如果有哪個必要的部分沒有啟動，那麼集群將不會顯示"Quorate"狀態。
GFS設置
首先，我們需要設置CLVM，這樣我們才可以通過GFS使用LVM.激活CLVM只要在lvm.conf中設定"locking type=3"就可以了。
然後，就像平常一樣創建一個LVM卷組和卷，但是使用的是共享的塊設備。如果你使用的是DRBD，你將有可能使用/dev/drbd0.我創建了一個物理卷，然後創建一個名為vg01的卷組，然後創建一個名為web1的邏輯卷，這個卷在：/dev/vg01/web1.
最後，我們需要創建文件系統：
gfs_mkfs -t web1：mygfs -p lock_dlm -j 2 /dev/vg01/web1
-t中給定的名稱必須是集群的名稱，然後後面是你給這個文件系統所起的名字。只有web1集群的成員才可以載入這個文件系統。然後，設定分布式鎖管理器的鎖鑰類型，指明你需要兩份journal(因為這是一個雙節點集群)。如果你預計未來要增加更多的節點，那麼你需要在這時設定足夠高的journal數量。
總結
我們現在可以開始使用這個文件系統了。在兩個節點上啟動"clvmd"和"gfs"服務。現在你就可以通過"-t gfs"來將類型指定為GFS，從而載入文件系統。
在開始啟動之前，一定要設定好cman，clvmd和gfs服務。你最好能熟悉clustat和gfs_tool命令，因為在系統出現問題的時候，你可以用這些命令來查找問題所在。
不要指望GFS能很快。如果有一個節點在進行大量的寫入操作的話，那麼在訪問文件系統的時候出現停頓是很正常的。對於一個數據讀取操作比數據寫入操作多得多的Web集群來說，這倒不是什麼問題。如果出現明顯延遲，那麼首先要檢查一下所有組件的狀況，然後評估正在寫入的數據。防止延遲現象的最常見措施就是確保HTTP對話中的數據不是寫入GFS卷。