CentOS HDFS容錯機制配置技巧

以下是CentOS上配置HDFS容錯機制（高可用）的核心技巧及關鍵步驟，基于搜索資源中的最佳實踐整理：

一、基礎架構規劃

1. 節點角色

   • 至少部署 2個NameNode（1主1備）和 3個JournalNode（奇數防腦裂），DataNode根據數據規模擴展。
   • 部署 ZooKeeper集群（3節點）用于協調NameNode狀態切換。

2. 網絡要求

   • 所有節點間網絡互通，關閉防火墻或開放必要端口（如NameNode RPC端口8020、ZooKeeper端口2181等）。

二、核心配置文件修改

1. core-site.xml

• 指定集群默認文件系統路徑及ZooKeeper集群地址：

  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://mycluster</value>  <!-- 集群名稱，需與hdfs-site.xml一致 -->
  </property>
  <property>
      <name>ha.zookeeper.quorum</name>
      <value>zk1:2181,zk2:2181,zk3:2181</value>  <!-- ZooKeeper節點列表 -->
  </property>
  

2. hdfs-site.xml

• NameNode高可用配置：

  <property>
      <name>dfs.nameservices</name>
      <value>mycluster</value>  <!-- 集群名稱 -->
  </property>
  <property>
      <name>dfs.ha.namenodes.mycluster</name>
      <value>nn1,nn2</value>  <!-- 主備NameNode標識 -->
  </property>
  <property>
      <name>dfs.namenode.rpc-address.mycluster.nn1</name>
      <value>nn1-host:8020</value>  <!-- 主NameNode RPC地址 -->
  </property>
  <property>
      <name>dfs.namenode.rpc-address.mycluster.nn2</name>
      <value>nn2-host:8020</value>  <!-- 備NameNode RPC地址 -->
  </property>
  <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://jn1:8485;jn2:8485;jn3:8485/mycluster</value>  <!-- JournalNode共享日志路徑 -->
  </property>
  <property>
      <name>dfs.client.failover.proxy.provider.mycluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  <!-- 自動故障轉移代理 -->
  </property>
  <property>
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>  <!-- 啟用自動故障轉移 -->
  </property>
  <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>  <!-- 隔離機制，通過SSH防止腦裂 -->
  </property>
  <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>  <!-- SSH密鑰路徑 -->
  </property>
  

3. JournalNode配置

• 在hdfs-site.xml中指定JournalNode數據存儲目錄：

  <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/var/lib/hadoop/journalnode</value>  <!-- 確保目錄權限為700 -->
  </property>
  

三、關鍵操作步驟

1. 啟動JournalNode
   在所有JournalNode節點上執行：

   $HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode
   

2. 格式化主NameNode
   在主NameNode節點上執行（僅第一次需要）：

   hdfs namenode -format
   

3. 同步元數據到備NameNode
   在備NameNode上執行：

   hdfs namenode -bootstrapStandby
   

4. 啟動服務

   • 啟動主備NameNode、ZKFC（故障轉移控制器）：

     $HADOOP_HOME/sbin/start-dfs.sh
     

   • 啟動DataNode服務：

     $HADOOP_HOME/sbin/start-datanode
     

5. 驗證集群狀態

   • 查看NameNode狀態：

     hdfs dfsadmin -report
     

   • 檢查ZooKeeper連接：

     echo stat | nc zk1 2181  # 測試ZooKeeper服務是否正常
     

四、容錯機制驗證

1. 手動模擬故障

   • 停止主NameNode服務，觀察備NameNode是否自動切換為Active狀態：

     # 在主NameNode節點執行
     pkill -9 java  # 強制停止NameNode
     

   • 通過hdfs dfsadmin -report確認新主節點已接管服務。

2. 數據一致性校驗

   • 寫入測試數據后，停止部分DataNode，驗證數據是否可正常讀?。ㄒ蕾嚫北緳C制）：

     hdfs dfs -put /local/file /hdfs/path  # 寫入數據
     # 停止部分DataNode后再次讀取
     hdfs dfs -cat /hdfs/path/file
     

五、優化與注意事項

• 副本因子設置：
  在hdfs-site.xml中通過dfs.replication配置默認副本數（通常3份，可根據節點數量調整）。
• 監控與告警：
  部署Prometheus+Grafana監控集群狀態，重點關注NameNode存活、JournalNode延遲、DataNode磁盤使用率等指標。
• 日志管理：
  定期清理NameNode和DataNode的日志文件（路徑由hadoop.tmp.dir配置），避免磁盤占滿。

參考來源：