HDFS高可用怎樣配置

HDFS高可用性（High Availability, HA）配置是為了防止單點故障，確保在關鍵組件出現故障時系統仍然可以繼續工作。以下是一個基本的HDFS高可用配置步驟：

1. 集群規劃

• 規劃圖：確定集群中各個節點的角色（NameNode、DataNode、JournalNode、ZooKeeper等）。
• 實驗說明：根據實際節點數量和規劃圖進行配置。

2. 配置ZooKeeper

• 安裝ZooKeeper：在每個節點上安裝并配置ZooKeeper。
• 配置zoo.cfg：設置ZooKeeper集群的配置文件，包括數據目錄、客戶端連接端口等。

3. 修改Hadoop配置文件

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/soft/hadoop/data/tmp</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,node1:2181,node2:2181</value>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>master:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>slave1:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>slave1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/hadoop-sny/bigdata/dfs/journal/data</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
</configuration>

4. 啟動HDFS集群

1. 格式化NameNode：在主NameNode上執行格式化命令。
2. 啟動JournalNode：在各節點上啟動JournalNode服務。
3. 啟動NameNode：分別啟動兩個NameNode，一個處于Active狀態，另一個處于Standby狀態。
4. 啟動DataNode：在各節點上啟動DataNode服務，并確保它們向兩個NameNode匯報數據塊信息。

5. 驗證配置

• 檢查NameNode狀態：使用hdfs dfsadmin -report命令檢查NameNode的狀態，確保它們正常運行。
• 模擬故障轉移：模擬NameNode故障，驗證自動故障轉移機制是否正常工作。

注意事項

• 數據一致性：確保JournalNode集群配置正確，以保證元數據同步。
• 監控和日志：配置監控工具，如Ganglia、Prometheus等，實時監控集群狀態，并查看日志以便排查問題。