linux群集

Ⅰ 什麼是linux集群架構師

現在比較大型點的系統基本上是AP+DB的架構: AP指應用程序,DB指資料庫端AP放在一個伺服器上,DB放在另一個伺服器上當一個系統比較大,訪問的用戶數量比較多的時候,比如QQ,上億用戶.這時一個伺服器就吃不消了,這樣就想到多個伺服器跑同一個AP應用.DB端也一樣.linux集群 指的就是多個伺服器跑同一個AP應用,系統管理員的工作資料庫集群 指的就是多個伺服器跑同一個DB資料庫.資料庫管理員的工作。 集群方面就得需要集群架構師來操作了

Ⅱ 請問linux集群、oracle集群是什麼技術

一、linux集群
Linux集群系統包括集群節點和集群管理器兩部分。集群節點有時簡稱為節點、伺服器或伺服器節點，是提供處理資源的系統，它進行集群的實際工作。一般來講，它必須進行配置才能成為集群的一部分，也必須運行集群的應用軟體。應用軟體可以是專用於集群的軟體，也可以是設計用於分布式系統的標准軟體。Linux集群管理器則是將節點捆綁在一起，以構成單一系統外觀的邏輯結構，它用於將任務分解到所有的節點。
集群因多種不同的原因而有著不同的類型，建立Linux集群的最直接原因是共享CPU資源，在多個機器之間平衡負載，獲得更多的系統可靠性，或在主機失敗時提供後備系統(切換)。
通過對相關軟體的分析，實現集群負載的功能是通過流量管理實現的，具體有以下幾種實現方法：直接路由(Direct Forwarding)、網路地址轉換(NAT)和隧道技術(Tunneling)。
直接路由(Direct Forwarding)是當參與集群的計算機和作為控制管理的計算機在同一個網段時可以使用此法。控制管理的計算機接收到請求包時，直接送到參與集群的節點。它的優點是返回給客戶的流量不經過控制主機，速度快、開銷少。
可能大家比較熟悉網路地址轉換(NAT)這種方法。地址轉換器有能被外界訪問到的合法IP地址，它修改來自專有網路的流出包的地址，外界看起來包是來自地址轉換器本身。當外界包送到轉換器時，它能判斷出應該將包送到內部網的哪個節點。它的優點是節省IP地址，能對內部進行偽裝;缺點是效率低，因為返回給請求方的流量要經過轉換器。
隧道技術(Tunneling)這種方式是Linux集群的節點不在同一個網段時採用的轉發機制，是將IP包封裝在其它網路流量中。從安全形度考慮，應該使用隧道技術中的VPN,也可使用租用專線。
Linux集群所能提供的服務是基於TCP/IP的Web服務、Mail服務、News服務、DNS服務和Proxy伺服器等。
二、oracle集群
Oracle集群，最早稱作OPS(Oracle Parallel Server)出現在Oracle 7版本中，從Oracle 9i開始正式改稱為Oracle RAC，RAC即Real Application Clusters的簡寫，譯為「真正應用集群」；RAC是Oracle新版資料庫中採用的一項新技術，也是Oracle資料庫支持網格計算環境的核心技術。
在Oracle RAC環境下，Oracle集成提供了集群軟體和存儲管理軟體，為用戶降低了應用成本。當應用規模需要擴充時，用戶可以按需擴展系統，以保證系統的性能。
資料庫雙機可以有兩種不同的方式：雙機熱備份、雙機集群。
雙機熱備份方式的集群完全通過操作系統的cluster軟體來實現，在同一個時刻，只有一台機器對資料庫作操作，當這台機器發生故障以後，由操作系統cluster將所有資源切換到兩外一個節點，防止單節點資料庫故障。
雙機集群方式（RAC），在10g以後，通過ORACLE自身提供的CRS來實現集群的功能。在同一個時刻，所有的機器都對資料庫作操作，當某台機器發生故障後，其他機器接管該機器的工作。這種方式不但能夠防止單節點資料庫故障，還能夠實現負載均衡。因為兩個機器對同一個資料庫操作，因此資料庫文件一般無法使用傳統的文件系統方式存儲。

Ⅲ 如何對區域網內的多台Linux進行集群化管理

它非常適合用來快速配置一個集群中的所有運行相同服務和具備相同配置的計算機節點。現在有大量的開源管理工具，都可以實現這樣的管理，比如dsh、SUSE Manager等。下面是用ClusterSSH管理多台Linux伺服器的具體過程。
如果你是一名Linux系統管理員，那你每天一定會和許許多多的機器打交道，因為你要定期監測和維護這些機器，如一批Web伺服器，如果你要同時在多台機器上敲入相同的命令，你可能會通過SSH登錄，然後逐台敲入，如果使用ClusterSSH，可以為你節省不少類似的工作時間。
ClusterSSH是用Tk/Perl包裝XTerm和SSH後形成的新工具，就其本身而言，它可以運行在任何兼容POSIX的操作系統上，我曾經在Linux，Solaris和Mac OS X上運行過它，它需要Perl庫Tk（在Debian或Ubuntu上就是perl-tk）和X11::Protocol（在Debian或Ubuntu上就是libx11-protocol-perl），此外，xterm和OpenSSH是必不可少的。
安裝在Debian或Ubuntu上安裝ClusterSSH是相當簡單的，只需要敲入sudo apt-get install clusterssh就可以安裝好，至於依賴包你也不必擔心，一切都會為你裝好的，它也提供了適合Fedora的rpm包，在FreeBSD上可通過port系統安裝，還為Mac OS X准備了MacPort版本，因此你可以在你的蘋果電腦上安裝ClusterSSH，當然，如果你是極客，也可以下載源代碼自己編譯。
配置可以通過ClusterSSH的全局配置文件/etc/clusters，或用戶home目錄下的。csshrc文件來配置它，我喜歡用戶級的配置方式，這樣同一個系統中的不同用戶可以根據自己的喜好進行配置，ClusterSSH定義了一個「cluster」機器組，你可以通過一個界面來控制這個組中的所有機器，在配置文件的頂端「clusters」部分，你可以詳盡地列出你的集群，然後用獨立的段落來描述每個集群。
例如，假設我有兩個集群，每個集群由兩台機器組成，「Cluster1」由「Test1」和「Test2」兩台機器組成，「Cluster2」由「Test3」和「Test4」兩台機器組成，~.csshrc（或/etc/clusters）配置文件的內容看起來應該是：
clusters = cluster1 cluster2
cluster1 = test1 test2
cluster2 = test3 test4你也可以創建中間集群（包含其它集群的集群），如果你想創建一個名叫「all」的集群包含所有的機器，有兩種實現手段，首先，你可以創建一個包含所有機器的集群，如：
clusters = cluster1 cluster2 all
cluster1 = test1 test2
cluster2 = test3 test4
all = test1 test2 test3 test4但我更喜歡的方法是使用一個包含其它集群的中間集群：
clusters = cluster1 cluster2 allcluster1 = test1 test2

Ⅳ 同一網段三台linux伺服器怎樣搭建集群

三台只能是互相切換,真正的負載集群,一般常規構架：前端一台調度器，中間三台或以上web處理伺服器，後端一台文件伺服器（文件伺服器上存放web和資料庫）

Ⅳ 什麼是linux 集群架構有和前景。

集群通信系統是一種計算機系統，它通過一組鬆散集成的計算機軟體和/或硬體連接版起來權高度緊密地協作完成計算工作。簡單地說，集群（cluster）就是一組計算機，它們作為一個整體向用戶提供一組網路資源。這些單個的計算機系統就是集群的節點（node）。一個理想的集群，用戶是不會意識到集群系統底層的節點的。在他們看來，集群是一個系統，而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群系統的節點。
集群已不是一個全新的概念，早在七十年代計算機廠商和研究機構就對集群系統進行了研究和開發。這些系統不為大家熟知，是因為它主要用於科學工程計算。直到Linux集群的出現，集群的概念才得以廣泛傳播。集群系統主要分為高可用(High
Availability)集群，簡稱HA集群，和高性能計算(High Perfermance Computing)集群，簡稱HPC集群。

Ⅵ 如何最快搭建LINUX伺服器集群

1.2.並行技術
這是一個非常簡單的建造四節點的小集群系統的例子，它是構建在Linux操作系統上，通過MPICH軟體包實現的，希望這個小例子能讓大家對集群系統的構建有一個最基本的了解。
2.使用MPICH構建一個四節點的集群系統
這是一個非常簡單的建造四節點的小集群系統的例子，它是構建在Linux操作系統上，通過MPICH軟體包實現的，希望這個小例子能讓大家對集群系統的構建有一個最基本的了解。
2.1 所需設備
1).4台採用Pentium II處理器的PC機，每台配
置64M內存，2GB以上的硬碟，和EIDE介面的光碟驅動器。
2).5塊100M快速乙太網卡，如SMC 9332 EtherPower 10/100(其中四塊卡用於連接集群中的結點，另外一塊用於將集群中的其中的一個節點與其它網路連接。)
3).5根足夠連接集群系統中每個節點的，使用5類非屏蔽雙絞線製作的RJ45纜線
4).1個快速乙太網(100BASE-Tx)的集線器或交換機
5).1張Linux安裝盤
2.2 構建說明
對計算機硬體不熟的人，實施以下這些構建步驟會感到吃力。如果是這樣，請找一些有經驗的專業人士尋求幫助。
1. 准備好要使用的採用Pentium II處理器的PC機。確信所有的PC機都還沒有接上電源，打開PC機的機箱，在准備與網路上的其它設備連接的PC機上安裝上兩塊快速乙太網卡，在其它的 PC機上安裝上一塊快速乙太網卡。當然別忘了要加上附加的內存。確定完成後蓋上機箱，接上電源。
2. 使用4根RJ45線纜將四台PC機連到快速乙太網的集線器或交換機上。使用剩下的1根RJ45線將額外的乙太網卡(用於與其它網路相連的那塊，這樣機構就可以用上集群)連接到機構的區域網上(假定你的機構區域網也是快速乙太網)，然後打開電源。
3. 使用LINUX安裝盤在每一台PC機上安裝。請確信在LINUX系統中安裝了C編譯器和C的LIB庫。當你配置TCP/IP時，建議你為四台PC分別指定為192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC為你的伺服器節點(擁有兩塊網卡的那台)。在這個伺服器節點上的那塊與機構區域網相連的網卡，你應該為其指定一個與機構區域網吻合的IP地址。
4.當所有PC都裝好Linux系統後，編輯每台機器的/etc/hosts文件，讓其包含以下幾行：
192.168.1.1 node1 server
192.168.1.2 node2
192.168.1.3 node3
192.168.1.4 node4
編輯每台機器的/etc/hosts.equiv文件，使其包含以下幾行：
node1
node2
node3
node4
$p#
以下的這些配置是為了讓其能使用MPICH』s p4策略去執行分布式的並行處理應用。
1. 在伺服器節點
，建一個/mirror目錄，並將其配置成為NFS伺服器，並在/etc/exports文件中增加一行：
/mirror node1(rw) node2(rw) node3(rw) node4(rw)
2. 在其他節點上，也建一個/mirror目錄，關在/etc/fstab文件中增加一行：
server:/mirror /mirror nfs rw,bg,soft 0 0
3. /mirror這個目錄從伺服器上輸出，裝載在各個客戶端，以便在各個節點間進行軟體任務的分發。
4. 在伺服器節點上，安裝MPICH。MPICH的文檔可在
5.任何一個集群用戶(你必須在每一個節點新建一個相同的用戶)，必須在/mirror目錄下建一個屬於它的子目錄，如 /mirror/username，用來存放MPI程序和共享數據文件。這種情況，用戶僅僅需要在伺服器節點上編譯MPI程序，然後將編譯後的程序拷貝到在/mirror目錄下屬於它的的子目錄中，然後從他在/mirror目錄下屬於它的的子目錄下使用p4 MPI策略運行MPI程序。
2.3 MPICH安裝指南
1.如果你有gunzip，就d下載mpich.tar.gz，要不然就下載mpich.tar.Z。你可以到http://www.mcs.anl.gov/mpi/mpich/downloa下載，也可以使用匿名ftp到ftp.mcs.anl.gov的pub/mpi目錄拿。(如果你覺得這個東西太大，你可以到pub/mpi/mpisplit中取分隔成塊的幾個小包，然後用cat命令將它們合並)
2.解壓：gunzip ;c mpich.tar.gz tar xovf-(或zcat mpich.tar.Ztar xovf-)
3.進入mpich目錄
4.執行：./configure為MPICH選擇一套適合你的實際軟硬體環境的參數組，如果你對這些默認選擇的參數不滿意，可以自己進行配置(具體參見MPICH的配置文檔)。最好選擇一個指定的目錄來安裝和配置MPICH，例如：
./configure -prefix=/usr/local/mpich-1.2.0
5.執行：make >&make.log 這會花一段較長的時間，不同的硬體環境花的時間也就不同，可能從10分鍾到1個小時，甚至更多。
6.(可選)在工作站網路，或是一台單獨的工作站，編輯mpich/util/machines/machines.xxx(xxx是MPICH對你機器體系結構取的名稱，你能很容易的認出來)以反映你工作站的當地主機名。你完全可以跳過這一步。在集群中，這一步不需要。
7.(可選)編譯、運行一個簡單的測試程序：
cd examples/basic
make cpi
ln ;s ../../bin/mpirun mpirun
./mpirun ;np 4 cpi
此時，你就在你的系統上運行了一個MPI程序。
8.(可選)構建MPICH其餘的環境，為ch_p4策略使
用安全的服務會使得任何啟動速度加快，你可以執行以下命令構建：
make serv_p4
(serv_p4是一個較新的P4安全服務的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一個更快版本，但他需要tk 3.6版的源代碼。如果你有這個包，你就用以下命令可以構建它：
make nupshot
9.(可選)如果你想將MPICH安裝到一個公用的地方讓其它人使用它，你可以執行：
make install 或 bin/mpiinstall
你可以使用-prefix選項指定MPICH安裝目錄。安裝後將生成include、lib、bin、sbin、www和man目錄以及一個小小的示例目錄，
到此你可以通告所有的用戶如何編譯、執行一個MPI程序。

Ⅶ 哪種linux系統搭建集群比較好

循序漸進Linux 基礎知識、伺服器搭建、系統管理、性能調優、集群應用 第一部分基礎知識篇 第1章Linux學習方法論 第2章Linux系統的安裝與基本配置 第3章系統基本結構 第4章Linux常用命令及其使用 第5章Linux下軟體包的安裝與管理 第二部分伺服器搭建篇 第6章Linux伺服器網路配置 第7章Linux伺服器安全策略 第8章架設Linux伺服器 第9章伺服器故障排查 第三部分系統管理篇 第10章Linux用戶許可權管理 第11章Linux磁碟存儲管理 第12章Linux文件系統管理 第13章Linux內存管理 第14章Linux系統進程管理 第四部分性能調優篇 第15章Linux系統優化思路 第16章Linux系統性能評估與優化 第五部分集群、高可用篇 第17章Linux集群技術概論 第18章Linux-HA開源軟體Heartbeat 第19章Linux存儲集群 第20章Linux負載均衡軟體LVS Linux集群文庫P集群技術MC-ServiceGuard的應用 Linux機群系統並行程序調試器的設計與實現 Linux系統中LVS的實現剖析 Linux下的負載均衡集群LVS實現分析與測試 分布式網路環境下的負載平衡原理及演算法 基於Linux 的PC 集群 基於Linux的Beowulf集群的實現 基於Linux的伺服器群集方案 基於Linux的集群管理系統設計與實現 基於Linux的進程遷移機制設計 基於Linux虛擬伺服器的負載均衡 基於集群式系統的GSAD演算法 消息中間件的集群技術 一種新的基於Linux的郵件伺服器集群系統 有TCP連接容錯功能的網路負載平衡調度系統 /Book/system/Linux/29167/lin/496/3057996.shtml

Ⅷ 什麼是Linux集群

集群通信系統是一種計算機系統，
它通過一組鬆散集成的計算機軟體和/或硬體連接起來高度緊密地協作完成計算工作。簡單地說，集群(cluster)就是一組計算機，它們作為一個整體向用戶提供一組網路資源。這些單個的計算機系統就是集群的節點(node)。一個理想的集群，用戶是不會意識到集群系統底層的節點的。在他們看來，集群是一個系統，而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群系統的節點。
集群已不是一個全新的概念，早在七十年代計算機廠商和研究機構就對集群系統進行了研究和開發。這些系統不為大家熟知，是因為它主要用於科學工程計算。直到Linux集群的出現，集群的概念才得以廣泛傳播。集群系統主要分為高可用(High
Availability)集群，簡稱HA集群，和高性能計算(High Perfermance Computing)集群，簡稱HPC集群。
在Linux出現前，集群系統採用的操作系統主要有VMS、UNIX和WindowsNT。到九十年代末期，linux操作系統不斷走向成熟，它的健壯性不斷增強，並且提供了GNU軟體和標准化的PVM、MPI消息傳遞機制，最重要的是Linux在普通PC機上提供了對高性能網路的支持，這樣就大大推動了基於Linux的集群系統的普及和發展。

Ⅸ Linux系統 CentOS 7怎麼搭建集群

CentOS 7下怎麼搭建高可用集群。高可用集群是指以減少服務中斷時間為目的的伺服器集群技術。它通過保護用戶的業務程序對外不間斷提供的服務，把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度。那麼新的centos下怎麼來搭建高可用集群。環境：本文以兩台機器實現雙集熱備高可用集群，主機名node1的IP為192.168.122.168 ，主機名node2的IP為192.168.122.169 。
一、安裝集群軟體必須軟體pcs，pacemaker，corosync，fence-agents-all，如果需要配置相關服務，也要安裝對應的軟體
二、配置防火牆
1、禁止防火牆和selinux
修改/etc/sysconfig/selinux確保SELINUX=disabled，然後執行setenforce 0或者reboot伺服器以生效
2、設置防火牆規則
三、各節點之間主機名互相解析分別修改2台主機名分別為node1和node2，在centos 7中直接修改/etc/hostname加入本機主機名和主機表，然後重啟網路服務即可。
配置2台主機的主機表，在/etc/hosts中加入
四、各節點之間時間同步在node1和node2分別進行時間同步，可以使用ntp實現。
五、各節點之間配置ssh的無密碼密鑰訪問。下面的操作需要在各個節點上操作。
兩台主機都要互相可以通信，所以兩台主機都得互相生成密鑰和復制公鑰，相互的節點上的hosts文件是都要解析對方的主機名， 192.168.122.168 node1 192.168.122.169 node2
六、通過pacemaker來管理高可用集群
1、創建集群用戶
為了有利於各節點之間通信和配置集群，在每個節點上創建一個hacluster的用戶，各個節點上的密碼必須是同一個。

Ⅹ 怎樣在linux系統上搭建Hadoop集群

（1）下載jdk，在官網下載，下載rpm的包
（2）hadoop包的下載，官網上下載
download hadoop->release->mirror site(鏡像站)->隨便選擇離自己近的（HTTP下的第一個）->選擇2.7.2->下載.tar.gz
（3）將兩個包遠程傳輸到linux虛擬機中
（4）將主機名和ip地址進行適配，讓我們的ip地址和主機名（如bigdata）相匹配：寫到/etc/hosts裡面
vi /etc/hosts
按「i」進入插入狀態 將原有的地址注釋掉
在新的一行輸入：ip地址 主機名（如172.17.171.42 bigdata）（註：可以雙擊xshell的窗口再打開一個連接窗口，可以在新的窗口查詢ip地址並進行復制）
按「Esc」退出插入狀態
輸入：wq保存退出
修改完之後可以輸入hostname回車，查看是否成功
reboot：重啟，使得剛剛的修改生效
（5）將包放到opt下：cp hadoop-2.7.2.tar.gz /opt/
cp jdk-8u111-linux-x64.rpm /opt/
進入opt：cd /opt/
查看opt下的文件：ll
（6）安裝jdk，配置jdk的環境變數
安裝命令：rpm -ivh jdk-Bu101-linux-x64.rpm
配置環境變數：進入profile進行編輯：vi /etc/profile
並按照上面的方式在最後寫入並保存：java_HOME=/usr/java/default/（/usr/java/default/是jdk的安裝目錄）
列印JAVA_HOME檢驗是否配置好：echo $JAVA_HOME結果發現列印出來的沒有內容因為我們對/etc/profile的修改需要通過以下命令對它生效source /etc/profile。再次輸入echo $JAVA_HOME，列印結果為/usr/java/default/
（7）驗證jdk安裝好：java -version
（8）配置SSH（免密碼登錄）
回到根目錄：cd 安裝SSH秘鑰：ssh-keygen -t rsa會自動在/root/.shh/目錄下生成
查看目錄：ll .ssh/有兩個新生成的文件id_rsa(私鑰)，id_rsa.pub(公鑰)
進入.ssh/:cd .ssh/
將公鑰寫入authorized_key中：cat id_rsa.pub >> authorized_keys
修改authorized_keys文件的許可權：chmod 644 authorized_keys
修改完後退出.ssh的目錄cd進入初始目錄輸入：ssh bigdata（bigdata為你要遠程登錄的主機名或者ip地址）第一次登錄需要確認是否需要繼續登錄輸入yes繼續登錄
退出exit
（9）安裝及配置hadoop
解壓:tar zxf hadoop-2.7.2.tar.gz
查看/opt目錄下是否已經存在解壓的文件：ll（結果為出現hadoop-2.7.2）
繼續查看hadoop-2.7.2里的內容：cd hadoop-2.7.2
配置HADOOP_HOME:修改/etc/profile
進入hadoop的配置文件目錄cd /opt/hadoop-2.7.2/etc/hadoop/，會用的的配置文件如下：
core-site.xml
配置hadoop的文件系統即HDFS的埠是什麼。
配置項1為default.name，值為hdfs://bigdata:9000（主機名：bigdata也可也寫成ip地址，埠9000習慣用）
配置項2為hadoop臨時文件，其實就是配置一個目錄，配置完後要去創建這個目錄，否則會存在問題。
配置項3分布式文件系統的垃圾箱，值為4320表示3分鍾回去清理一次

<property>
<name>fs.default.name</name>
<value>hdfs://bigdata:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.2/current/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>4320</value>
</property>
hdfs-site.xml
配置項1，namenode的細節實際上就是一個目錄
配置項2，datanode的細節，真實環境中datanode的內容不需要再namenode的系統下配置，在此配置的原因是我們的系統是偽分布式系統，namenode和datanode在一台機器上
配置項3，副本的數量，在hdfs中每個塊有幾個副本
配置項4，HDFS是否啟用web
配置項5，HDFS的用戶組
配置項6，HDFS的許可權，現在配置為不開啟許可權

<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.7.2/current/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.7.2/current/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions.superusergroup</name>
<value>staff</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
創建配置文件中不存在的目錄：mkdir -p /opt/hadoop-2.7.2/current/data
mkdir -p /opt/hadoop-2.7.2/current/dfs/name
mkdir -p /opt/hadoop-2.7.2/current/tmp
yarn-site.xml
配置項1，resourcemanager的hostname，值為你運行的那台機器的主機名或IP地址
配置項2，nodemanager相關的東西
配置項3，nodemanager相關的東西
配置項4，resourcemanager的埠，主機名+埠號（IP+埠）
配置項5，resourcemanager調度器的埠
配置項6，resourcemanager.resource-tracker,埠
配置項7，埠
配置項8，埠
配置項9，日誌是否啟動
配置項10，日誌保留的時間長短（以秒為單位）
配置項11，日誌檢查的時間
配置項12，目錄
配置項13，目錄的前綴

<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>maprece_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.maprece.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>bigdata:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheler.address</name>
<value>bigdata:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>bigdata:18025</value>
</property> <property>
<name>yarn.resourcemanager.admin.address</name>
<value>bigdata:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>bigdata:18088</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
<property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>86400</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
</property>
mapred-site.xml
沒有mapred-site.xml，輸入vi mapred-按「TAB」發現有mapred-site.xml.template，對該文件進行復制
cp mapred-site.xml.template mapred-site.xml 配置項1，maprece的框架
配置項2，maprece的通信埠
配置項3，maprece的作業歷史記錄埠
配置項4，maprece的作業歷史記錄埠
配置項5，maprece的作業歷史記錄已完成的日誌目錄，在hdfs上
配置項6，maprece中間完成情況日誌目錄
配置項7，maprece的ubertask是否開啟

<property>
<name>maprece.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>maprece.jobtracker.http.address</name>
<value>bigdata:50030</value>
</property>
<property>
<name>maprece.jobhisotry.address</name>
<value>bigdata:10020</value>
</property>
<property>
<name>maprece.jobhistory.webapp.address</name>
<value>bigdata:19888</value>
</property>
<property>
<name>maprece.jobhistory.done-dir</name>
<value>/jobhistory/done</value>
</property>
<property>
<name>maprece.intermediate-done-dir</name>
<value>/jobhisotry/done_intermediate</value>
</property>
<property>
<name>maprece.job.ubertask.enable</name>
<value>true</value>
</property>
slaves

bigdata
hadoop-env.sh

JAVA_HOME＝/usr/java/default/
格式化分布式文件系統（hdfs）：hdfs namenode -format
成功的標志： INFO common.Storage: Storage directory /opt/hadoop-2.7.2/current/dfs/namehas been successfully formatted.
啟動Hadoop集群：/opt/hadoop-2.7.2/sbin/start-all.sh
驗證Hadoop集群是否正常啟動：
jps，系統中運行的java進程;
通過埠查看（關閉防火牆或者service iptables stop在防火牆的規則中開放這些埠）：
http://bigdata:50070(http://http://192.168.42.209/:50070)，分布式文件系統hdfs的情況
yarn http://bigdata:18088(http://http://192.168.42.209/:50070)