hadoop命令上传文件

⑴ 如何验证hadoop client安装是否成功

5.1. 进入hadoop目录，执行命令：cd /home/hadoop/hadoopinstall/hadoop。

5.2. 在bin目录下运行hadoop文件，进行namenode节点的格式化操作，命令为：bin/hadoop namenode -format。

5.3. 启动hadoop集群，使用bin目录下的start-all.sh文件，命令为：bin/start-all.sh。

5.4. 使用jps命令来验证进程是否启动成功。在namenode节点上，应能看到以下进程：namenode、jobtracker、secondarynamenode。在客户端节点上，应能看到：jps。

5.5. 通过ssh登录至其他机器，如slave1、slave2，应能看到如下进程：datanode、tasktracker。

5.6. 在各节点上进行HDFS系统的实际操作，包括使用hadoop fs -ls 查看文件、使用hadoop fs -put 上传文件、使用hadoop fs -get 下载文件。

小结：namenode、datanode、client节点的配置文件大致相同，但存在一些细微差异。具体差异如下：

1) Core-site.xml与mapred-site.xml文件中指定的namenode的IP:端口号，并非datanode和client的。

2) Masters文件中指定的是namenode的主机名，而非datanode和client的。

3) Slaves文件中列出的是datanode的主机名，而非namenode和client的。

4) Client节点对于Hdfs-site.xml文件增加了hadoop.job.ugi这一条目。