怎樣實現 Ubuntu Hadoop 高可用

實現Ubuntu Hadoop高可用需配置NameNode和ResourceManager的高可用，依賴ZooKeeper集群實現故障自動切換，步驟如下：

1. 環境準備

   • 操作系統：Ubuntu 20.04/22.04。
   • Java版本：JDK 8。
   • 網絡配置：為各節點配置靜態IP、主機名及DNS，確保節點間互通。
   • 安裝JDK和Hadoop：在所有節點安裝相同版本的JDK和Hadoop，配置環境變量。

2. 配置ZooKeeper集群

   • 部署3個ZooKeeper節點，修改zoo.cfg配置集群地址（如server.1=zk1:2181,server.2=zk2:2181,server.3=zk3:2181）。
   • 啟動ZooKeeper服務：zkServer.sh start，驗證狀態為Leader或Follower。

3. 配置NameNode高可用

   • 修改配置文件：
     • core-site.xml：設置fs.defaultFS為集群名稱（如hdfs://mycluster），指定ZooKeeper地址ha.zookeeper.quorum。
     • hdfs-site.xml：
       • 定義集群名稱dfs.nameservices，配置主備NameNode的RPC和HTTP地址dfs.namenode.rpc-address/http-address。
       • 啟用共享編輯日志：dfs.namenode.shared.edits.dir指向JournalNode（如qjournal://jn1:8485;jn2:8485;jn3:8485/mycluster）。
       • 啟用自動故障切換：dfs.ha.automatic-failover.enabled=true。
   • 初始化共享日志：在主NameNode上執行hdfs namenode -initializeSharedEdits。
   • 啟動JournalNode：在所有JournalNode節點執行hdfs --daemon start journalnode。
   • 格式化NameNode：在主NameNode上執行hdfs namenode -format，并同步元數據到備NameNode。

4. 配置ResourceManager高可用

   • 修改配置文件：在yarn-site.xml中啟用ResourceManager HA：

     <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
     </property>  
     <property>  
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>mycluster</value>  
     </property>  
     ```。  
     

   • 指定主備ResourceManager的地址yarn.resourcemanager.hostname。

5. 啟動集群并驗證

   • 啟動順序：ZooKeeper → JournalNode → NameNode（主備） → ResourceManager（主備）。
   • 驗證：通過jps查看進程狀態，模擬節點故障（如關閉主NameNode），觀察是否自動切換至備節點。

6. 監控與優化

   • 部署Ganglia、Prometheus等工具監控集群狀態，設置告警。
   • 定期備份HDFS數據，優化資源分配和網絡配置。

關鍵組件說明：

• ZooKeeper：協調集群狀態，觸發故障切換。
• JournalNode：存儲NameNode的編輯日志，保障元數據一致性。
• 自動故障切換：通過ZKFC（ZooKeeper Failover Controller）實現主備切換。

參考資料：