Hadoop DataNode 是 Hadoop 分布式文件系統（HDFS）中的一個重要組件，負責存儲和管理數據塊
數據傳輸校驗：在 DataNode 接收來自客戶端的數據塊時，會計算數據的校驗和（例如，MD5 或 SHA-1）。然后，DataNode 將校驗和與客戶端提供的校驗和進行比較。如果兩者匹配，說明數據傳輸過程中沒有發生錯誤。如果不匹配，DataNode 會通知客戶端重新傳輸數據塊。
數據塊校驗：在 DataNode 存儲數據塊之前，會對數據進行校驗。這是因為，在分布式環境中，數據塊可能會因為網絡故障或其他原因導致損壞。為了確保數據的完整性，DataNode 會對每個數據塊進行校驗，并將校驗結果存儲在 HDFS 的元數據中。在讀取數據塊時，DataNode 會再次計算校驗和并與元數據中的校驗和進行比較。如果兩者匹配，說明數據塊完整無損。
重復數據檢測：為了防止數據冗余和浪費存儲空間，Hadoop DataNode 還進行了重復數據檢測。當 DataNode 收到一個數據塊時，它會檢查該數據塊是否已經存在于本地存儲中。如果已經存在，DataNode 會跳過對該數據塊的存儲；否則，它會將數據塊存儲在本地，并更新元數據。
總之，Hadoop DataNode 通過數據傳輸校驗、數據塊校驗和重復數據檢測等方式來確保數據的完整性和可靠性。這些機制有助于提高 HDFS 的容錯能力和數據存儲的可靠性。
