hadoop怎麼搭建web伺服器

① eclipse怎樣創建hadoop web工程

創建一個web工程，把hadoop相關包丟進去就行了

② 請問hadoop怎樣進行web開發呢

hadoop不是做web開發的，沒辦法進行web開發
hadoop是一個分布式架構，用來處理分布式的數據存儲

③ hadoop怎麼搭建web後端伺服器

web應用是實時的應用。而hadoop平台是用來處理非實時數據的。 所以，通常是超大數據用hadoop處理，結果返回資料庫（或hbase）中，web應用調用資料庫。

④ 如何基於hadoop基本實現網盤功能，客戶端用web實現

應用伺服器:在線網盤應用，可以用jsp寫 資料庫伺服器:可以用mysql，存儲用戶信息，上傳文件信息等 文件伺服器:用hadoop的文件系統，直接把上傳的文件寫在這個系統就行了，因為分塊和備份都不用自己實現

⑤ 我有個hadoop的java工程，裡面有好幾個class文件，如何將其發布為webservice，供client調用

如果是MapRece任務，那肯定是不行的，但是如果你的hadoop工程只是簡單的調用hdfsAPI進行簡單的文件操作那麼可以把這個工程當做普通java工程使用。

⑥ hadoop web 訪問端是怎樣配置文件

1、masters記錄的是需要啟動secondary namenode的節點, 不是namenode，它也和maprece沒任何關系。
slaves記錄的是需要執行start-all.sh（或相關命令）時，需要遠程啟動tasktracker與datanode的節點。
2、這2個文件不需要分發至各個工作節點。
3、哪個機器執行啟動腳本，那它就是jobtracke與namenode，再根據masters確定secondary namenode, 根據slaves文件確定tasktracker與datanode，並遠程啟動這些守護進程。

⑦ hadoop怎樣開發web程序

其實，你弄錯了hadoop的真正意圖。首先，hadoop不適合於開發WEB程序。hadoop的優勢在於大規模的分布式數據處理。負責數據的分析並採用分布式資料庫(hbase)來存儲。但是，hadoop有個特點是，所有的數據處理作業都是批處理的，也就是說hadoop在實時性上是不佔優勢的。對於WEB應用來說，你也許可以做的是，將系統的數據處理部分分離出來交給hadoop去做。關於hadoop的數據處理有一個專門的工具:hive。hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供完整的sql查詢功能，可以將sql語句轉換為 MapRece任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapRece統計，不必開發專門的MapRece應用，十分適合數據倉庫的統計分析。 希望對你有幫助

⑧ 搭建hadoop集群，常用配置文件是什麼，以及配置哪些屬性

一. 簡介

參考了網上許多教程，最終把hadoop在ubuntu14.04中安裝配置成功。下面就把詳細的安裝步驟敘述一下。我所使用的環境：兩台ubuntu 14.04 64位的台式機，hadoop選擇2.7.1版本。（前邊主要介紹單機版的配置，集群版是在單機版的基礎上，主要是配置文件有所不同，後邊會有詳細說明）

二. 准備工作

2.1 創建用戶

創建用戶，並為其添加root許可權，經過親自驗證下面這種方法比較好。

1 sudo adser hadoop2 sudo vim /etc/sudoers3 # 修改內容如下：4 root ALL = (ALL)ALL5 hadoop ALL = (ALL)ALL

給hadoop用戶創建目錄，並添加到sudo用戶組中，命令如下：

1 sudo chown hadoop /home/hadoop2 # 添加到sudo用戶組3 sudo adser hadoop sudo

最後注銷當前用戶，使用新創建的hadoop用戶登陸。

2.2安裝ssh服務

ubuntu中默認是沒有裝ssh server的（只有ssh client），所以先運行以下命令安裝openssh-server。安裝過程輕松加愉快～

sudo apt-get install ssh openssh-server

2.3 配置ssh無密碼登陸

直接上代碼：執行完下邊的代碼就可以直接登陸了（可以運行ssh localhost進行驗證）

1 cd ~/.ssh# 如果找不到這個文件夾，先執行一下 "ssh localhost"2 ssh-keygen -t rsa3 cp id_rsa.pub authorized_keys

注意：

這里實現的是無密登陸自己，只適用與hadoop單機環境。如果配置Hadoop集群設置Master與Slave的SSH無密登陸可

三. 安裝過程

3.1 下載hadoop安裝包

有兩種下載方式：

1. 直接去官網下載：

2. 使用wget命令下載：

3.2 配置hadoop

1. 解壓下載的hadoop安裝包，並修改配置文件。我的解壓目錄是（/home/hadoop/hadoop-2.7.1），即進入/home/hadoop/文件夾下執行下面的解壓縮命令。

tar -zxvf hadoop-2.7.1.tar.gz

2. 修改配置文件：（hadoop2.7.1/etc/hadoop/）目錄下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml。

(1). core-site.xml 配置：其中的hadoop.tmp.dir的路徑可以根據自己的習慣進行設置。

至此，wordcount demo 運行結束。

六. 總結

配置過程遇到了很多問題，最後都一一解決，收獲很多，特此把這次配置的經驗分享出來，方便想要配置hadoop環境的各位朋友～

（Hadoop集群安裝配置過程基本和單機版是一樣的，主要是在配置文件方面有所區別，以及ssh無密登陸要求master和slave能夠互相無密登陸。

⑨ centos 6.5怎麼搭建hadoop2.7.3

總體思路，准備主從伺服器，配置主伺服器可以無密碼SSH登錄從伺服器，解壓安裝JDK，解壓安裝Hadoop，配置hdfs、maprece等主從關系。

1、環境，3台CentOS6.5，64位，Hadoop2.7.3需要64位linux，操作系統十幾分鍾就可以安裝完成，
Master 192.168.0.182
Slave1 192.168.0.183
Slave2 192.168.0.184

2、SSH免密碼登錄，因為Hadoop需要通過SSH登錄到各個節點進行操作，我用的是root用戶，每台伺服器都生成公鑰，再合並到authorized_keys
(1)CentOS默認沒有啟動ssh無密登錄，去掉/etc/ssh/sshd_config其中2行的注釋，每台伺服器都要設置，
#RSAAuthentication yes
#PubkeyAuthentication yes
(2)輸入命令，ssh-keygen -t rsa，生成key，都不輸入密碼，一直回車，/root就會生成.ssh文件夾，每台伺服器都要設置，
(3)合並公鑰到authorized_keys文件，在Master伺服器，進入/root/.ssh目錄，通過SSH命令合並，
cat id_rsa.pub>> authorized_keys
ssh [email protected] cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh [email protected] cat ~/.ssh/id_rsa.pub>> authorized_keys
(4)把Master伺服器的authorized_keys、known_hosts復制到Slave伺服器的/root/.ssh目錄
(5)完成，ssh [email protected]、ssh [email protected]就不需要輸入密碼了

3、安裝JDK，Hadoop2.7需要JDK7，由於我的CentOS是最小化安裝，所以沒有OpenJDK，直接解壓下載的JDK並配置變數即可
(1)下載「jdk-7u79-linux-x64.gz」，放到/home/java目錄下
(2)解壓，輸入命令，tar -zxvf jdk-7u79-linux-x64.gz
(3)編輯/etc/profile
export JAVA_HOME=/home/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
(4)使配置生效，輸入命令，source /etc/profile
(5)輸入命令，java -version，完成

4、安裝Hadoop2.7，只在Master伺服器解壓，再復制到Slave伺服器
(1)下載「hadoop-2.7.0.tar.gz」，放到/home/hadoop目錄下
(2)解壓，輸入命令，tar -xzvf hadoop-2.7.0.tar.gz
(3)在/home/hadoop目錄下創建數據存放的文件夾，tmp、hdfs、hdfs/data、hdfs/name

5、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下的core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.0.182:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>

6、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下的hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.0.182:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

7、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下的mapred-site.xml
<configuration>
<property>
<name>maprece.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>maprece.jobhistory.address</name>
<value>192.168.0.182:10020</value>
</property>
<property>
<name>maprece.jobhistory.webapp.address</name>
<value>192.168.0.182:19888</value>
</property>
</configuration>

8、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下的mapred-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>maprece_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.maprece.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.0.182:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheler.address</name>
<value>192.168.0.182:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.0.182:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.0.182:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.0.182:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
</configuration>

9、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不設置的話，啟動不了，
export JAVA_HOME=/home/java/jdk1.7.0_79

10、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下的slaves，刪除默認的localhost，增加2個從節點，
192.168.0.183
192.168.0.184

11、將配置好的Hadoop復制到各個節點對應位置上，通過scp傳送，
scp -r /home/hadoop 192.168.0.183:/home/
scp -r /home/hadoop 192.168.0.184:/home/

12、在Master伺服器啟動hadoop，從節點會自動啟動，進入/home/hadoop/hadoop-2.7.0目錄
(1)初始化，輸入命令，bin/hdfs namenode -format
注意：執行這步的時候可能會報一個錯誤：
java.net.UnknownHostException: tiancunPC: tiancunPC: unknown error
at java.net.InetAddress.getLocalHost(InetAddress.java:1505)
at org.apache.hadoop.net.DNS.resolveLocalHostname(DNS.java:264)
at org.apache.hadoop.net.DNS.<clinit>(DNS.java:57)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.newBlockPoolID(NNStorage.java:982)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.newNamespaceInfo(NNStorage.java:591)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:157)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:992)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)
Caused by: java.net.UnknownHostException: tiancunPC: unknown error
at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:928)
at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)
at java.net.InetAddress.getLocalHost(InetAddress.java:1500)
... 8 more
16/11/11 19:15:23 WARN net.DNS: Unable to determine address of the host-falling back to "localhost" address
java.net.UnknownHostException: tiancunPC: tiancunPC: unknown error
at java.net.InetAddress.getLocalHost(InetAddress.java:1505)
at org.apache.hadoop.net.DNS.resolveLocalHostIPAddress(DNS.java:287)
at org.apache.hadoop.net.DNS.<clinit>(DNS.java:58)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.newBlockPoolID(NNStorage.java:982)
at org.apache.hadoop.hdfs.server.namenode.NNStorage.newNamespaceInfo(NNStorage.java:591)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:157)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:992)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)
Caused by: java.net.UnknownHostException: tiancunPC: unknown error
at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:928)
at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)
at java.net.InetAddress.getLocalHost(InetAddress.java:1500)
... 8 more
linux中使用hostname查看為：
[root@tiancunPC hadoop-2.7.3]# hostname
tiancunPC
查看/etc/hosts為：
[root@tiancunPC hadoop-2.7.3]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
難怪會映射不到，修改/etc/hosts
[root@tiancunPC hadoop-2.7.3]# cat /etc/hosts
127.0.0.1 tiancunPC localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
對應修改另外兩個機器的主機名，在執行那個命令就可以了

(2)全部啟動sbin/start-all.sh，也可以分開sbin/start-dfs.sh、sbin/start-yarn.sh
執行sbin/start-all.sh 可能會有錯誤提示：
maps to localhost(IP), but this does not map back to the address
解決辦法：

修改 /etc/ssh/ssh_config
vim /etc/ssh/ssh_config
GSSAPIAuthentication no
這個時候可能還會出現這個錯誤提示：

hadoop出現namenode running as process 18472. Stop it first.，hadoopnamenode
解決辦法：重新啟動一下hadoop

(3)停止的話，輸入命令，sbin/stop-all.sh
(4)輸入命令，jps，可以看到相關信息