Linux HDFS如何配置高可用性

配置HDFS高可用性（HA）的主要步驟包括準備環境、修改配置文件、啟動HDFS集群以及驗證配置。以下是詳細的步驟：

1. 集群規劃與環境準備

• 規劃集群布局：確定集群中各個節點的角色（NameNode、DataNode、JournalNode、ZKFC等）。
• 環境準備：備份原始配置文件，以便在需要時恢復。例如，備份core-site.xml和hdfs-site.xml。

2. 修改配置文件

修改 hdfs-site.xml

在NameNode節點上修改hdfs-site.xml文件，添加以下配置：

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>slave1:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>slave1:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/hadoop-sny/bigdata/dfs/journal/data</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

修改 core-site.xml

在NameNode節點上修改core-site.xml文件，添加以下配置：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master:2181,node1:2181,node2:2181</value>
</property>

3. 啟動HDFS集群

• 啟動ZooKeeper：在各節點上啟動ZooKeeper服務。
• 啟動JournalNode：在各節點上啟動JournalNode服務。
• 格式化并啟動NameNode：在主NameNode上格式化，并啟動NameNode。
• 同步數據：將主NameNode的數據復制到備用NameNode。
• 啟動DataNode：在各節點上啟動DataNode服務。

4. 驗證配置

• 檢查NameNode狀態：使用以下命令檢查NameNode的狀態：

  hdfs dfsadmin -report
  

• 模擬故障切換：手動停止主NameNode，觀察備用NameNode是否能夠自動切換為Active狀態。

通過以上步驟，可以實現HDFS的高可用性配置，確保在關鍵組件出現故障時系統仍然可以繼續工作。