Ubuntu Hadoop 集群如何實現高可用

實現Ubuntu Hadoop集群高可用需配置NameNode和ResourceManager的高可用，依賴ZooKeeper實現故障自動切換，步驟如下：

1. 集群規劃：至少3臺Ubuntu服務器，分配角色如下：

   • 主節點（Master）：運行Active NameNode、ResourceManager、ZooKeeper、JournalNode。
   • 備用節點（Standby）：運行Standby NameNode、ResourceManager、ZooKeeper、JournalNode。
   • 數據節點（DataNode）：運行DataNode、NodeManager。

2. 基礎配置：

   • SSH免密登錄：在主節點生成密鑰，分發至所有節點，確保無密碼訪問。
   • 主機名與IP映射：修改/etc/hosts文件，添加所有節點的IP和主機名。
   • 安裝JDK：所有節點安裝相同版本的JDK（建議JDK 8+）。

3. ZooKeeper集群搭建：

   • 在3臺節點上安裝ZooKeeper，配置zoo.cfg文件，指定server.id=host:port:port（如server.1=master:2888:3888），并為每個節點創建myid文件（內容為對應ID）。
   • 啟動ZooKeeper服務：zkServer.sh start，驗證狀態為Leader/Follower。

4. HDFS高可用配置：

   • 共享存儲：通過JournalNode同步NameNode元數據，在主節點格式化NameNode后，使用hdfs namenode -bootstrapStandby同步至備用節點。
   • 配置參數：在hdfs-site.xml中設置dfs.nameservices、dfs.ha.namenodes、dfs.namenode.rpc-address等參數，啟用自動故障轉移dfs.ha.automatic-failover.enabled=true。

5. YARN高可用配置：

   • 在yarn-site.xml中啟用ResourceManager高可用：yarn.resourcemanager.ha.enabled=true，指定主備ResourceManager的hostname和ZooKeeper地址yarn.resourcemanager.zk-address。

6. 啟動集群：

   • 先啟動JournalNode和ZooKeeper，再格式化HDFS（僅需在主節點執行一次），最后啟動HDFS和YARN服務。

7. 驗證高可用：

   • 使用hdfs haadmin -getServiceState nn1和yarn rmadmin -getServiceState rm1檢查主備狀態。
   • 模擬節點故障（如停止主節點服務），驗證自動切換至備用節點。

關鍵組件作用：

• ZooKeeper：監控NameNode和ResourceManager狀態，觸發故障切換。
• JournalNode：存儲NameNode的EditLog，確保主備節點元數據一致。
• DFSZKFailoverController：監控NameNode狀態，配合ZooKeeper實現主備切換。

注意事項：

• 確保防火墻開放Hadoop相關端口（如8020、9870、2181等）。
• 定期備份HDFS數據，避免單點故障導致數據丟失。