HDFS（Hadoop Distributed File System）是一個分布式文件系統，主要用于存儲和管理大規模數據集。它采用主從（Master/Slave）架構，由一個NameNode和多個DataNode組成。以下是HDFS文件系統的主要結構和組件：
-
NameNode：
- 功能：NameNode是HDFS的主節點，負責管理文件系統的命名空間和客戶端對文件的訪問。它維護著文件系統的元數據，如文件和目錄的層次結構、文件的塊映射信息等。
- 存儲結構：NameNode使用兩類文件來存儲元數據：
- fsimage：保存文件系統的靜態快照。
- edits：記錄自上次fsimage保存以來的所有修改操作。
- 工作機制：NameNode將所有的操作都在內存中完成，以提高效率。數據持久化在內存中，掉電易失。
-
DataNode：
- 功能：DataNode是HDFS中的存儲節點，負責存儲實際的數據塊。每個DataNode管理其本地磁盤上的數據塊，并定期向NameNode匯報其存儲的數據塊信息。
- 數據寫入和讀取：當客戶端需要讀取或寫入數據時，會通過NameNode獲取數據塊的位置信息，然后直接與DataNode進行通信。DataNode還負責數據的復制和容錯，確保數據的高可靠性和高可用性。
-
Secondary NameNode：
- 功能：Secondary NameNode并不是NameNode的熱備，而是用來輔助NameNode進行元數據的合并和檢查點操作的。它定期從NameNode獲取元數據的快照，并合并這些快照以減輕NameNode的負擔。
- 工作機制：Secondary NameNode定期從NameNode拉取當前的fsimage與edits，在本地合并為新的fsimage，并將新的fsimage推送回NameNode。
-
數據塊（Block）：
- 存儲：HDFS將文件切分成固定大小的數據塊進行存儲，通常為128MB。這些數據塊會被分布存儲在不同的DataNode上，并且每個數據塊會有多個副本（默認為3個副本），以提高數據的可靠性和容錯性。
-
副本存放策略：
- HDFS采用機架感知策略來優化數據副本的存放位置，即將副本分布在不同的機架上，以提高數據的可靠性和網絡帶寬的利用率。
-
客戶端：
- 客戶端通過HDFS提供的接口與NameNode和DataNode進行通信，執行文件的創建、讀取、刪除等操作。
HDFS的設計目標是為大數據應用提供高吞吐量的數據訪問，能夠處理PB級別的數據存儲和處理需求。它通過數據塊復制和容錯機制，確保數據的高可靠性和高可用性。
