hadoop命令上傳文件

⑴ 如何驗證hadoop client安裝是否成功

5.1. 進入hadoop目錄，執行命令：cd /home/hadoop/hadoopinstall/hadoop。

5.2. 在bin目錄下運行hadoop文件，進行namenode節點的格式化操作，命令為：bin/hadoop namenode -format。

5.3. 啟動hadoop集群，使用bin目錄下的start-all.sh文件，命令為：bin/start-all.sh。

5.4. 使用jps命令來驗證進程是否啟動成功。在namenode節點上，應能看到以下進程：namenode、jobtracker、secondarynamenode。在客戶端節點上，應能看到：jps。

5.5. 通過ssh登錄至其他機器，如slave1、slave2，應能看到如下進程：datanode、tasktracker。

5.6. 在各節點上進行HDFS系統的實際操作，包括使用hadoop fs -ls 查看文件、使用hadoop fs -put 上傳文件、使用hadoop fs -get 下載文件。

小結：namenode、datanode、client節點的配置文件大致相同，但存在一些細微差異。具體差異如下：

1) Core-site.xml與mapred-site.xml文件中指定的namenode的IP:埠號，並非datanode和client的。

2) Masters文件中指定的是namenode的主機名，而非datanode和client的。

3) Slaves文件中列出的是datanode的主機名，而非namenode和client的。

4) Client節點對於Hdfs-site.xml文件增加了hadoop.job.ugi這一條目。