hodop配置成功什麼截圖
① hadoop雙節點配置完成後,顯示這個表示成功了嗎
不是 你這個只是格式化成功
② 怎麼看hadoop配置好
start-all.sh 然後jps查看進程,看進程是否齊全,在最開始hadoop namenode -format的時候注意看報錯了沒,是否完全。
③ 急,急需要在vmware虛擬機的hadoop上安裝運行hbase的截圖
由圖中可以看出,存儲模塊主要包括了ZooKeeper集群、HMaster、HRegionServer。
ZooKeeper:
Hbase是強依賴於ZooKeeper,我們讀或寫一個表的數據,都會優先訪問ZooKeeper。
通常是集群中單獨的3/5台伺服器。
HMaster通常是Hadoop集群中的一台或兩台(backup-Master)。
HRegionServer通常是Hadoop集群中的部分或全部
HRegionServer通常和datanode部署在同一台伺服器上
比如datanode是10個
HRegionServer可以是10個或小於10個
2、hbase架構圖重要組件的名稱及作用
client:
讀/寫訪問hbase的用戶
ZooKeeper:
基於觀察者模式監控master和regionserver運行狀態,保證hbase的高可用性,這是因為hbase是強依賴於ZooKeeper的。
存儲了hbase的定址入口
存儲了hbase表的meta元數據表的位置信息
Meta也是一張表,meta表一般只有一個region
region存在哪台regionserver上
meta元數據表存儲了哪些信息:
一張表有哪些reigon
region分別分配到哪些regionserve上r
每個reigon的startkey和stopkey的大小
master:
管理regionserver並分配表的region給regionserver
對集群的region的數量進行負載均衡管理
master會藉助ZooKeeper感知regionserver的上線和下線
master一般會有兩台(backup-Master),保證master的高可用性
master不參與hbase表數據的讀和寫,負載通常比較低
master宕機一段時間內集群可以保持正常的讀寫
regionserver:
管理所在伺服器節點上的所有region
負責響應客戶端的讀寫請求(IO)
三大機制(flush、compact、split)
Hlog:
預寫日誌
④ 如何查看hadoop集群是否安裝成功(用jps命令
1、首先啟動hadoop集群,查看你的進程是否都啟動起來
3884 Jps
1776 ResourceManager
1613 SecondaryNameNode
1872 NodeManager
1467 DataNode
1377 NameNode
2、然後創建一個目錄,比如 /djt ,然後上傳一個文件djt.txt到該目錄下
如果上面步驟都正常,代表hadoop偽分布集群安裝成功!
⑤ 搭建hadoop集群,常用配置文件是什麼,以及配置哪些屬性
一. 簡介
參考了網上許多教程,最終把hadoop在ubuntu14.04中安裝配置成功。下面就把詳細的安裝步驟敘述一下。我所使用的環境:兩台ubuntu 14.04 64位的台式機,hadoop選擇2.7.1版本。(前邊主要介紹單機版的配置,集群版是在單機版的基礎上,主要是配置文件有所不同,後邊會有詳細說明)
二. 准備工作
2.1 創建用戶
創建用戶,並為其添加root許可權,經過親自驗證下面這種方法比較好。
1 sudo adser hadoop2 sudo vim /etc/sudoers3 # 修改內容如下:4 root ALL = (ALL)ALL5 hadoop ALL = (ALL)ALL
給hadoop用戶創建目錄,並添加到sudo用戶組中,命令如下:
1 sudo chown hadoop /home/hadoop2 # 添加到sudo用戶組3 sudo adser hadoop sudo
最後注銷當前用戶,使用新創建的hadoop用戶登陸。
2.2安裝ssh服務
ubuntu中默認是沒有裝ssh server的(只有ssh client),所以先運行以下命令安裝openssh-server。安裝過程輕松加愉快~
sudo apt-get install ssh openssh-server
2.3 配置ssh無密碼登陸
直接上代碼:執行完下邊的代碼就可以直接登陸了(可以運行ssh localhost進行驗證)
1 cd ~/.ssh# 如果找不到這個文件夾,先執行一下 "ssh localhost"2 ssh-keygen -t rsa3 cp id_rsa.pub authorized_keys
注意:
這里實現的是無密登陸自己,只適用與hadoop單機環境。如果配置Hadoop集群設置Master與Slave的SSH無密登陸可
三. 安裝過程
3.1 下載hadoop安裝包
有兩種下載方式:
1. 直接去官網下載:
2. 使用wget命令下載:
3.2 配置hadoop
1. 解壓下載的hadoop安裝包,並修改配置文件。我的解壓目錄是(/home/hadoop/hadoop-2.7.1),即進入/home/hadoop/文件夾下執行下面的解壓縮命令。
tar -zxvf hadoop-2.7.1.tar.gz
2. 修改配置文件:(hadoop2.7.1/etc/hadoop/)目錄下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml。
(1). core-site.xml 配置:其中的hadoop.tmp.dir的路徑可以根據自己的習慣進行設置。
至此,wordcount demo 運行結束。
六. 總結
配置過程遇到了很多問題,最後都一一解決,收獲很多,特此把這次配置的經驗分享出來,方便想要配置hadoop環境的各位朋友~
(Hadoop集群安裝配置過程基本和單機版是一樣的,主要是在配置文件方面有所區別,以及ssh無密登陸要求master和slave能夠互相無密登陸。