hadoop的配置文件放在哪個目錄下
『壹』 hadoop2.7配置文件在哪個目錄
(1)dfs.replication:指定DataNode存儲block的副本數量,不大於DataNode的個數就行
(2)dfs.nameservices：cluster1,cluster2，使用federation(HDFS聯盟)時豎塵，如果使用了2個HDFS集群。這里抽象出兩個NameService實際上就是給這2個HDFS集群起了個別名。名字可以隨便起，相互不重復即可
(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102，指定NameService是cluster1時的namenode有哪些，這里的值也是邏返纖歷輯名稱，名字隨便起，相互不重漏搜復即可
(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020，指定hadoop101的RPC地址
(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址！
『貳』 hadoop怎麼保存配置文件
從安裝Hadoop 單機版的配置說起
在這里配置了Hadoop的文件目錄
1. 啟動Hadoop 並上傳文件
上傳文件命令：hadoop fs -put hadoop-2.9.2.tar.gz hdfs://hdgroup01:9000/
可以看到已經上傳了文件了
2. 刪除本地文件
如果刪除後你在瀏覽器刷新頁面 然後還能下載 說明 肯定存在其則哪寬他地方
使用命令下載也可以：hadoop fs -get hdfs://hdgroup01:9000/hadoop-2.9.2.tar.gz
3. hdfs 文件存放的位置
通過查看緩液 安裝時配置的hadoop文件目錄 上傳文件後的結果
這個dfs 應該見過的 就是在格式化namenode的時候 在我們配置的文件中創建了dfs 文件夾
4. 上傳一個349.5M 的文件
5. 進到hadoop 本地存儲文件中查看 存儲格式
上傳的文件為349.47M 被切分成了 三塊 因為是單機版 所以都存放到了 這台主機的文件系統中
可以看到 hadoop 塊大小為128M（默認） 超過128M的文件會被切成不同的塊存放
總結
1. hdfs是是通過分布式集群來存儲文件，為客戶端提供了一個便捷的訪問方式 虛擬的目錄結構
2. 文件存儲到hdfs集群中的時候是被切分成block的 默認為128M
3. 文件的block 存放在若乾颱datanode節點中
4. hdfs文件系統中的文件與真實的block之間有映射關系，由namenode管理
5. 每個block 在集孫亮群中會存儲多個副本，好處是可以提高數據的可靠性，還可以提高訪問的吞吐量。
『叄』 hadoop.home.dir在哪兒
1、bin：
bin目錄是Hadoop最基本的管理腳本和使用腳本所在的目錄，這些腳本是sbin目錄下管理腳本的基礎實現，用戶可以直接使用這些腳本管理和使用Hadoop
在這里插入圖片描述
2、sbin
存放的是我們管理腳本的所在目錄，重要是對hdfs和yarn的各種開啟和關閉和單線程開啟和守護
在這里插入圖片描述
文件名稱 作用
hadoop-daemon.sh 通過執行hadoop命令來啟動/停止一個守護進程(daemon);他可以單獨開啟一個進程也可以使用hadoop-daemons來開啟多個進程，這樣我們在某台機器掛掉時，就友塵不用全部重新開啟了
start-all.sh 調用 start-dfs.sh和start-yarn.sh（官方不建議使用）
stop-all.sh 調用 stop-dfs.sh和stop-yarn.sh（官方不建議使用）
start-dfs.sh 啟動NameNode ，SecondaryNamenode ，DataNode這些進程
start-yarn.sh 啟動ResourceManager,nodeManager 這些進程
stop-dfs.sh 關閉NameNode ，SecondaryNamenode ，DataNode這些進程
stop-yarn.sh 關閉ResourceManager,nodeManager 這些進程
stop-balancer.sh 停止balancer
stop-mapred.sh 停止MapRece
3、etc
存放一些hadoop的配置文件
在這里插入圖片描述
文件名稱 作用說明
core-site.xml Hadoop核心全局配置文件，可以其他配置文件中引用該文件中定義的屬性，如在hdfs-site.xml及mapred-site.xml中會引用該文件的屬性；該文件的模板文件存在於$HADOOP_HOME/src/core/core-default.xml，可將模板文件復制到conf目錄，再進行修改。
hadoop-env.sh Hadoop環境變數
hdfs-site.xml HDFS配置文件，該模板的屬性繼承於core-site.xml；該文件的模板態告手文件存於$HADOOP_HOME/src/hdfs/hdfs-default.xml，可將模板文件復制到conf目錄，再進行修改
mapred-site.xml MapRece的配置文件，該模板的屬性繼承於core-site.xml；該文件的模板文件存於$HADOOP_HOME/src/mapred/mapredd-default.xml，可將模板文件復制到conf目錄，再進行修改
slaves 用於設置所有的slave的名稱或IP，每行存放一個。如果是名稱，那麼設置的slave名稱必須在/etc/hosts有IP映射配置
4、lib
該目錄下存放的是Hadoop運行時依賴的jar包，Hadoop在執行時會把lib目錄下面的jar全部加到classpath中。
在這里插入圖片描述
5、logs
該目錄存放的是Hadoop運行的日誌，查看日誌對尋找Hadoop運行錯誤帆嫌非常有幫助。
在這里插入圖片描述
6、include
對外提供的編程庫頭文件（具體動態庫和靜態庫在lib目錄中），這些頭文件均是用C++定義的，通常用於C++程序訪問HDFS或者編寫MapRece程序。
在這里插入圖片描述
7、libexec
各個服務對用的shell配置文件所在的目錄，可用於配置日誌輸出、啟動參數（比如JVM參數）等基本信息。
在這里插入圖片描述
8、share目錄
Hadoop各個模塊編譯後的jar包所在的目錄。
在這里插入圖片描述
在這里插入圖片描述
文章知識點與官方知識檔案匹配
CS入門技能樹Linux入門初識Linux
23099 人正在系統學習中
『肆』 查看Hadoop安裝路徑
查看仿此hadoop二進制文件路徑
查看hadoop二進制文件鏈接路徑
由此可知備燃迅，hadoop安裝目錄為 /usr/local/Cellar/hadoop/3.1.1
而 core-site.xml 、 hdfs-site.xml 等配置文件的存放段差目錄為
/usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop
『伍』 大數據 hadoop 三種運行模式的區別、及詳細配置講解
基於Hadoop進行開發時，有時候會被Hadoop的運行模式弄得暈頭轉向，傻傻分不清各種運行模則判孝式的區別，給日常開發帶來很多困惑，不同集群配置文件也各不相不同。弄明白Hadoop的運行模式和對配置文件的作用要做到心中明了，在工作中才能得手順心。
hadoop的配置文件均以XML文件進行配置，它有四個最常見的配置文件，分別為：
core-site.xml文件主要用於配置通用屬性。
hdfs-site.xml文件用於配置Hdfs的屬性。
mapred-site.xml文件用於配置Maprece的屬性。
yarn-site.xml文件用於配置Yarn的屬性。
一般來說，這四種配置文件都存儲在hadoop默認的安裝目錄etc/hadoop子目錄中。 不過我們也可以在搭建集群時根據實際需求，把etc/hadoop目錄和其下的文件復制到另外一個位置。這樣可以把配置文件和安裝文件分離開來沖旅，方便管理。
注意：如果把etc/hadoop目錄和其下的文件復制到另外一孫稿個位置。
我們需要在環境變數中將hadoop_conf_dir設置成指向新目錄。
1、本地運行模式
無需任何守護進程 ，所有的程序都運行在同一個JVM上執行。在本地模式下調試MR程序非常高效方便，一般該模式主要是在學習或者開發階段調試使用 。
2、偽分布式模式
Hadoop守護進程運行在本地機器上 ，模擬一個小規模的集群，換句話說，可以配置一台機器的Hadoop集群，偽分布式是完全分布式的一個特例。
3、完全分布式模式
Hadoop守護進程運行在一個集群上 。這種運行模式也就是我們常見的各種雲，主要用於大規模的生產環境中。
注意：分布式要啟動守護進程 ，是指在使用分布式hadoop時，要先啟動一些准備程序進程，然後才能使用。 比如start-dfs.sh start-yarn.sh，而本地模式不需要啟動這些守護進程。
注意：在本地模式下，將使用本地文件系統和本地MapRece運行器。在分布式模式下，將啟動HDFS和YARN守護進程。
『陸』 hadoop的tem文件一般在哪
在Hadoop中，MapRece任務的中間結果是通過臨時文件進行存儲和傳輸的，這些臨時文件通常稱為「源纖中間結果文件」（Intermediate Results File），或者簡稱為「臨時文件」喚裂世（Temp File）。
Hadoop的臨和肢時文件一般存儲在本地磁碟上，路徑為：${mapred.local.dir}/taskTracker/archive/${user.name}/mapred/local/${maprece.job.id}/${maprece.task.attempt.id}/output。
其中，${mapred.local.dir}為本地磁碟的路徑，${user.name}為當前用戶的用戶名，${maprece.job.id}為當前MapRece任務的唯一標識符，${maprece.task.attempt.id}為當前MapRece任務的執行嘗試次數，output為臨時文件夾名稱。
需要注意的是，臨時文件夾路徑可能因為不同的Hadoop版本、配置和環境而有所不同。如果需要查看具體的路徑，可以在Hadoop配置文件中查找相關的參數配置，例如mapred-site.xml文件中的mapred.local.dir參數。
『柒』 hadoop 配置文件放到哪裡
hadoop-2.x在$HADOOP_HOME/etc/hadoop目錄下雹滲
hadoop-1.x在$HADOOP_HOME/conf目錄源坦脊下信圓
『捌』 Hadoop安裝在什麼目錄下
【答案】：叢雹慎Cloudera和Apache使用相同的目錄結構，Hadoop被安裝在cd/usr/滲敬lib/hadoop-0.20/肆老。