HDFS（Hadoop Distributed File System）中的DataNode是實際存儲數據的節點，其工作流程主要包括以下幾個方面：
-
數據存儲：
- DataNode負責存儲文件的實際數據塊。每個數據塊在DataNode上以文件形式存儲在磁盤上，包括數據本身和元數據（如數據塊的長度、校驗和和時間戳）。
- 默認情況下，每個數據塊會被復制三份（副本因子為3），分布在不同的DataNode上，以提高數據的可靠性和容錯性。
-
心跳和塊報告：
- DataNode啟動后會向NameNode注冊，并定期（默認每6小時）向NameNode上報所有的數據塊信息。
- DataNode還會定期發送心跳信號（默認每3秒一次），以確認其存活狀態。如果超過10分鐘（即120秒）沒有收到DataNode的心跳，則認為該節點不可用。
-
數據讀寫：
- 當客戶端需要讀取文件時，首先向NameNode請求文件的元數據（如數據塊列表及位置）。NameNode返回離客戶端最近的DataNode列表，客戶端直接與這些DataNode通信，并行讀取數據塊。
- 當客戶端需要寫入文件時，NameNode會返回可用的DataNode列表?？蛻舳藢祿磯K切分，并通過管道（Pipeline）依次寫入多個DataNode。所有DataNode確認寫入成功后，客戶端通知NameNode完成寫入。
-
數據完整性：
- DataNode在讀取數據塊時會計算校驗和（如CRC32、MD5、SHA系列等）。如果計算后的校驗和與數據塊創建時的值不一致，說明數據塊已經損壞。
- 客戶端在讀取其他DataNode上的數據塊時，也會進行校驗和驗證，并在發現損壞的數據塊時向NameNode報告。
-
副本管理：
- HDFS通過副本機制來提高數據的可靠性和容錯性。當某個DataNode發生故障時，NameNode會自動從其他DataNode復制缺失的數據塊副本，以保持數據的完整性和可用性。
-
配置和優化：
- DataNode的配置文件
hdfs-site.xml中可以設置各種參數，如數據塊報告間隔、目錄掃描間隔、心跳間隔等。
- 這些配置參數可以幫助優化DataNode的性能和可靠性。
通過上述機制，HDFS能夠高效地管理大量數據，提供高可靠性和容錯性的數據存儲服務。DataNode在HDFS中扮演著關鍵角色，確保數據的存儲、讀取和備份過程順利進行。
