Debian上Hadoop高可用性配置技巧

在Debian上配置Hadoop高可用性需重點關注NameNode、ResourceManager的高可用性及ZooKeeper協調，以下是核心技巧和步驟：

1. 環境準備
   • 安裝JDK并配置SSH免密登錄，確保節點間無密碼通信。
2. 配置ZooKeeper集群
   • 安裝ZooKeeper并編輯zoo.cfg，設置集群節點地址（如server.1=node1:2181等），啟動服務。
3. 配置HDFS高可用性
   • NameNode HA：
     • 在hdfs-site.xml中設置dfs.nameservices和dfs.ha.namenodes，指定主備NameNode的RPC和HTTP地址。
     • 配置dfs.namenode.shared.edits.dir為QJM共享目錄（如qjournal://node1:8485;node2:8485/mycluster），確保元數據同步。
     • 啟用自動故障轉移：dfs.ha.automatic-failover.enabled=true，并設置dfs.ha.fencing.methods（如sshfence）防止腦裂。
   • JournalNode配置：在多個節點創建共享存儲目錄（如/var/lib/hadoop/journalnode），啟動JournalNode服務。
4. 配置YARN高可用性
   • 在yarn-site.xml中配置ResourceManager主備模式，通過ZooKeeper實現故障轉移。
5. 啟動與驗證
   • 格式化主NameNode：hdfs namenode -format，啟動HDFS和YARN集群：start-dfs.sh、start-yarn.sh。
   • 使用hdfs haadmin -report檢查NameNode狀態，驗證故障切換功能。
6. 監控與維護
   • 部署Ambari或Prometheus等工具監控集群狀態，定期檢查日志和數據副本。

關鍵參數說明：

• fs.defaultFS：指定HDFS的ZooKeeper命名空間。
• dfs.ha.automatic-failover.enabled：啟用自動故障轉移。
• dfs.journalnode.edits.dir：JournalNode存儲編輯日志的本地路徑。

參考來源：