hadoop下载文件夹

‘壹’ Docker部署Hadoop

部署Docker单节点Hadoop集群

通过Docker容器实现Hadoop集群部署，以简化安装和管理。访问集群状态的路径为server:8088/cluster，浏览HDFS文件的路径为server:50070/explorer.h...。使用Python访问集群。

首先，确保安装Python依赖。示例代码如下：

利用Docker构建Hadoop镜像，并创建网络，拉取Ubuntu镜像，创建容器，修改镜像源，安装Java。

下载JDK8并解压，配置环境变量并验证Java安装情况。使用docker export命令导出Java镜像。

安装SSH，通过命令进入容器，执行相关命令。

下载Hadoop，配置Hadoop环境。进入配置目录修改hadoop-env.sh文件，创建文件夹，并调整核心配置文件core-site.xml、HDFS配置文件hdfs-site.xml、MapRece配置文件mapred-site.xml和YARN配置文件yarn-site.xml。修改workers文件，最后删除临时文件。

导出Hadoop镜像并创建容器，启动Hadoop集群。测试HDFS功能。使用Python连接Hadoop集群。

构建基于Ubuntu16的Hadoop镜像，拉取镜像并创建容器。配置镜像，安装JDK、Scala和所需依赖。配置SSH以实现免密码登录。继续调整Hadoop配置文件。

创建目录，修改配置文件。完成Hadoop等配置，导出镜像并创建容器。启动集群并测试Hadoop功能。

搭建具有三个节点的集群，其中一台作为主节点，其余两台作为从节点。配置集群间SSH免密码登录。修改Hadoop配置文件以适应集群环境。启动Hadoop集群，配置分发集群配置文件，启动集群并测试。

‘贰’ hadoop中在HDFS中创建一个input目录，然后hadoop fs -ls命令

从fs -ls从列出来的文件看，这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候，不是采用的hadoop用户，而是用root用户执行的拷贝命令，你可能忘记切换用户了，可以删除现在的input目录(采用root用户运行hadoop的删除命令，或者不删除也没关系)，重新使用hadoop用户把input导入到hdfs系统中试试看。
另外，实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式，缺省会放/user/${user.name}目录下。
在把本地文件导入到hdfs的时候，是可以指定传到什么目录的，比如:
#创建input目录
sh bin/hadoop fs -mkdir /user/hadoop/input
#把myfile.txt导入到hdfs的input目录下
sh bin/hadoop fs –put /usr/hadoop/mydata/myfile.txt /user/hadoop/input