hadoop的配置文件放在哪个目录下
‘壹’ hadoop2.7配置文件在哪个目录
(1)dfs.replication:指定DataNode存储block的副本数量,不大于DataNode的个数就行
(2)dfs.nameservices：cluster1,cluster2，使用federation(HDFS联盟)时竖尘，如果使用了2个HDFS集群。这里抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。名字可以随便起，相互不重复即可
(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102，指定NameService是cluster1时的namenode有哪些，这里的值也是逻返纤历辑名称，名字随便起，相互不重漏搜复即可
(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020，指定hadoop101的RPC地址
(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址！
‘贰’ hadoop怎么保存配置文件
从安装Hadoop 单机版的配置说起
在这里配置了Hadoop的文件目录
1. 启动Hadoop 并上传文件
上传文件命令：hadoop fs -put hadoop-2.9.2.tar.gz hdfs://hdgroup01:9000/
可以看到已经上传了文件了
2. 删除本地文件
如果删除后你在浏览器刷新页面 然后还能下载 说明 肯定存在其则哪宽他地方
使用命令下载也可以：hadoop fs -get hdfs://hdgroup01:9000/hadoop-2.9.2.tar.gz
3. hdfs 文件存放的位置
通过查看缓液 安装时配置的hadoop文件目录 上传文件后的结果
这个dfs 应该见过的 就是在格式化namenode的时候 在我们配置的文件中创建了dfs 文件夹
4. 上传一个349.5M 的文件
5. 进到hadoop 本地存储文件中查看 存储格式
上传的文件为349.47M 被切分成了 三块 因为是单机版 所以都存放到了 这台主机的文件系统中
可以看到 hadoop 块大小为128M（默认） 超过128M的文件会被切成不同的块存放
总结
1. hdfs是是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式 虚拟的目录结构
2. 文件存储到hdfs集群中的时候是被切分成block的 默认为128M
3. 文件的block 存放在若干台datanode节点中
4. hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理
5. 每个block 在集孙亮群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高访问的吞吐量。
‘叁’ hadoop.home.dir在哪儿
1、bin：
bin目录是Hadoop最基本的管理脚本和使用脚本所在的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop
在这里插入图片描述
2、sbin
存放的是我们管理脚本的所在目录，重要是对hdfs和yarn的各种开启和关闭和单线程开启和守护
在这里插入图片描述
文件名称 作用
hadoop-daemon.sh 通过执行hadoop命令来启动/停止一个守护进程(daemon);他可以单独开启一个进程也可以使用hadoop-daemons来开启多个进程，这样我们在某台机器挂掉时，就友尘不用全部重新开启了
start-all.sh 调用 start-dfs.sh和start-yarn.sh（官方不建议使用）
stop-all.sh 调用 stop-dfs.sh和stop-yarn.sh（官方不建议使用）
start-dfs.sh 启动NameNode ，SecondaryNamenode ，DataNode这些进程
start-yarn.sh 启动ResourceManager,nodeManager 这些进程
stop-dfs.sh 关闭NameNode ，SecondaryNamenode ，DataNode这些进程
stop-yarn.sh 关闭ResourceManager,nodeManager 这些进程
stop-balancer.sh 停止balancer
stop-mapred.sh 停止MapRece
3、etc
存放一些hadoop的配置文件
在这里插入图片描述
文件名称 作用说明
core-site.xml Hadoop核心全局配置文件，可以其他配置文件中引用该文件中定义的属性，如在hdfs-site.xml及mapred-site.xml中会引用该文件的属性；该文件的模板文件存在于$HADOOP_HOME/src/core/core-default.xml，可将模板文件复制到conf目录，再进行修改。
hadoop-env.sh Hadoop环境变量
hdfs-site.xml HDFS配置文件，该模板的属性继承于core-site.xml；该文件的模板态告手文件存于$HADOOP_HOME/src/hdfs/hdfs-default.xml，可将模板文件复制到conf目录，再进行修改
mapred-site.xml MapRece的配置文件，该模板的属性继承于core-site.xml；该文件的模板文件存于$HADOOP_HOME/src/mapred/mapredd-default.xml，可将模板文件复制到conf目录，再进行修改
slaves 用于设置所有的slave的名称或IP，每行存放一个。如果是名称，那么设置的slave名称必须在/etc/hosts有IP映射配置
4、lib
该目录下存放的是Hadoop运行时依赖的jar包，Hadoop在执行时会把lib目录下面的jar全部加到classpath中。
在这里插入图片描述
5、logs
该目录存放的是Hadoop运行的日志，查看日志对寻找Hadoop运行错误帆嫌非常有帮助。
在这里插入图片描述
6、include
对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapRece程序。
在这里插入图片描述
7、libexec
各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。
在这里插入图片描述
8、share目录
Hadoop各个模块编译后的jar包所在的目录。
在这里插入图片描述
在这里插入图片描述
文章知识点与官方知识档案匹配
CS入门技能树Linux入门初识Linux
23099 人正在系统学习中
‘肆’ 查看Hadoop安装路径
查看仿此hadoop二进制文件路径
查看hadoop二进制文件链接路径
由此可知备燃迅，hadoop安装目录为 /usr/local/Cellar/hadoop/3.1.1
而 core-site.xml 、 hdfs-site.xml 等配置文件的存放段差目录为
/usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop
‘伍’ 大数据 hadoop 三种运行模式的区别、及详细配置讲解
基于Hadoop进行开发时，有时候会被Hadoop的运行模式弄得晕头转向，傻傻分不清各种运行模则判孝式的区别，给日常开发带来很多困惑，不同集群配置文件也各不相不同。弄明白Hadoop的运行模式和对配置文件的作用要做到心中明了，在工作中才能得手顺心。
hadoop的配置文件均以XML文件进行配置，它有四个最常见的配置文件，分别为：
core-site.xml文件主要用于配置通用属性。
hdfs-site.xml文件用于配置Hdfs的属性。
mapred-site.xml文件用于配置Maprece的属性。
yarn-site.xml文件用于配置Yarn的属性。
一般来说，这四种配置文件都存储在hadoop默认的安装目录etc/hadoop子目录中。 不过我们也可以在搭建集群时根据实际需求，把etc/hadoop目录和其下的文件复制到另外一个位置。这样可以把配置文件和安装文件分离开来冲旅，方便管理。
注意：如果把etc/hadoop目录和其下的文件复制到另外一孙稿个位置。
我们需要在环境变量中将hadoop_conf_dir设置成指向新目录。
1、本地运行模式
无需任何守护进程 ，所有的程序都运行在同一个JVM上执行。在本地模式下调试MR程序非常高效方便，一般该模式主要是在学习或者开发阶段调试使用 。
2、伪分布式模式
Hadoop守护进程运行在本地机器上 ，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群，伪分布式是完全分布式的一个特例。
3、完全分布式模式
Hadoop守护进程运行在一个集群上 。这种运行模式也就是我们常见的各种云，主要用于大规模的生产环境中。
注意：分布式要启动守护进程 ，是指在使用分布式hadoop时，要先启动一些准备程序进程，然后才能使用。 比如start-dfs.sh start-yarn.sh，而本地模式不需要启动这些守护进程。
注意：在本地模式下，将使用本地文件系统和本地MapRece运行器。在分布式模式下，将启动HDFS和YARN守护进程。
‘陆’ hadoop的tem文件一般在哪
在Hadoop中，MapRece任务的中间结果是通过临时文件进行存储和传输的，这些临时文件通常称为“源纤中间结果文件”（Intermediate Results File），或者简称为“临时文件”唤裂世（Temp File）。
Hadoop的临和肢时文件一般存储在本地磁盘上，路径为：${mapred.local.dir}/taskTracker/archive/${user.name}/mapred/local/${maprece.job.id}/${maprece.task.attempt.id}/output。
其中，${mapred.local.dir}为本地磁盘的路径，${user.name}为当前用户的用户名，${maprece.job.id}为当前MapRece任务的唯一标识符，${maprece.task.attempt.id}为当前MapRece任务的执行尝试次数，output为临时文件夹名称。
需要注意的是，临时文件夹路径可能因为不同的Hadoop版本、配置和环境而有所不同。如果需要查看具体的路径，可以在Hadoop配置文件中查找相关的参数配置，例如mapred-site.xml文件中的mapred.local.dir参数。
‘柒’ hadoop 配置文件放到哪里
hadoop-2.x在$HADOOP_HOME/etc/hadoop目录下雹渗
hadoop-1.x在$HADOOP_HOME/conf目录源坦脊下信圆
‘捌’ Hadoop安装在什么目录下
【答案】：丛雹慎Cloudera和Apache使用相同的目录结构，Hadoop被安装在cd/usr/渗敬lib/hadoop-0.20/肆老。