HDFS高可用性如何進行配置

HDFS（Hadoop Distributed File System）的高可用性（High Availability, HA）配置是為了防止單點故障，確保在關鍵組件出現故障時系統仍然可以繼續工作。以下是實現HDFS高可用性的基本步驟和要點：

1. 集群規劃：

   • 節點角色：在集群中配置兩個NameNode，一個處于活動狀態（Active），另一個處于待命狀態（Standby）。每個節點還需要配置JournalNode來存儲編輯日志（edits）。
   • ZooKeeper集群：用于管理NameNode的主備切換。

2. 配置文件修改：

   • core-site.xml：

     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://mycluster</value>
     </property>
     <property>
       <name>ha.zookeeper.quorum</name>
       <value>node1:2181,node2:2181,node3:2181</value>
     </property>
     

   • hdfs-site.xml：

     <property>
       <name>dfs.nameservices</name>
       <value>mycluster</value>
     </property>
     <property>
       <name>dfs.ha.namenodes.mycluster</name>
       <value>nn1,nn2</value>
     </property>
     <property>
       <name>dfs.namenode.rpc-address.mycluster.nn1</name>
       <value>node1:8020</value>
     </property>
     <property>
       <name>dfs.namenode.rpc-address.mycluster.nn2</name>
       <value>node2:8020</value>
     </property>
     <property>
       <name>dfs.namenode.http-address.mycluster.nn1</name>
       <value>node1:50070</value>
     </property>
     <property>
       <name>dfs.namenode.http-address.mycluster.nn2</name>
       <value>node2:50070</value>
     </property>
     <property>
       <name>dfs.namenode.shared.edits.dir</name>
       <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
     </property>
     <property>
       <name>dfs.client.failover.proxy.provider.mycluster</name>
       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
     <property>
       <name>dfs.ha.fencing.methods</name>
       <value>ssh</value>
     </property>
     <property>
       <name>dfs.ha.fencing.ssh.private-key-files</name>
       <value>/root/.ssh/id_rsa</value>
     </property>
     <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
     </property>
     

3. 啟動JournalNode集群：

   • 在所有節點上啟動JournalNode服務，確保它們可以相互通信。

     sbin/hadoop-daemon.sh start journalnode
     

4. 格式化NameNode：

   • 在主NameNode上執行格式化命令，并啟動NameNode服務。

     hdfs namenode -format
     

5. 啟動NameNode：

   • 啟動Active NameNode和Standby NameNode服務。

     sbin/start-dfs.sh
     

6. 驗證配置：

   • 使用以下命令檢查NameNode的狀態：

     hdfs dfsadmin -report
     

   • 模擬NameNode故障，觀察Standby NameNode是否能夠自動切換為Active狀態。

7. YARN高可用配置（可選）：

   • 配置YARN的Resourcemanager和NodeManager以支持高可用性。

     <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
     </property>
     <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster-yarn01</value>
     </property>
     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>node1</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>node2</value>
     </property>
     <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>node1:2181,node2:2181,node3:2181</value>
     </property>
     <property>
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>
     </property>
     <property>
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
     </property>
     

通過以上步驟，可以在HDFS集群中實現高可用性，確保在發生故障時能夠快速切換并繼續提供服務。