datanode主要存儲什麼
1. 存儲元數據叫什麼節點
元數據是為了描述數據的相關信息而存在的數據。主節點不會存儲數據,數據節點專門存儲數據,主節點存儲了元數據信息。主節點的磁碟中存儲了文件到塊的關系,集群啟動後,數據節點會報告名位元組點 機器和塊的關系,這兩個關系組合起來便可找到文件所在機器的位置。
2. 簡述hdfs體系結構
HDFS(Hadoop Distributed File System)的體系結構是一個主從(Master/Slave)結構模型,主要由三個關鍵組件構成:NameNode、DataNode和Secondary NameNode。
NameNode:作為HDFS集群的主節點,NameNode負責管理文件系統的命名空間(Namespace),包括文件名、目錄結構、文件屬性以及每個文件的數據塊列表等信息。它將這些信息存儲在內存中,並定期持久化到磁碟上,以防止數據丟失。NameNode還負責處理客戶端的讀寫請求,如文件創建、刪除等。
DataNode:DataNode是HDFS集群的從節點,負責在本地文件系統中存儲實際的數據塊(Block)。每個DataNode會定期向NameNode發送心跳信息,報告自己的狀態和數據塊信息。當客戶端需要讀寫數據時,NameNode會指示DataNode進行相應的操作。
Secondary NameNode:Secondary NameNode並非NameNode的備份,而是幫助NameNode進行元數據的合並和檢查點操作。它定期從NameNode獲取fsimage(文件系統鏡像)和edits(編輯日誌)文件,合並它們生成新的fsimage,並返回給NameNode。這樣,NameNode可以載入新的fsimage來減少啟動時間和內存佔用。
HDFS的這種體系結構使得它能夠高效地處理大規模數據集,具有高容錯性和高吞吐量的特點。通過分布式存儲和冗餘副本機制,HDFS能夠確保數據的安全性和可靠性。