HDFS在Linux中的容錯機制主要包括以下方面:
- 數據冗余:默認將數據塊復制3份,存儲在不同節點(可配置副本數),分布在不同機架以提高容錯性。
- 心跳檢測:DataNode定期向NameNode發送心跳,NameNode通過心跳判斷節點狀態,超時則標記為故障。
- 自動故障恢復:NameNode檢測到故障后,自動從其他節點復制副本補全數據,或重新分配數據塊到健康節點。
- NameNode高可用:采用Active/Standby模式,通過共享存儲(如JournalNode)同步元數據,主節點故障時快速切換。
- 數據一致性校驗:通過校驗和檢測數據損壞,發現損壞后自動從副本恢復。