Debian環境下Hadoop高可用性配置

在Debian環境下配置Hadoop高可用性涉及多個步驟，包括設置ZooKeeper集群、配置HDFS和YARN的高可用性、以及啟動和驗證集群狀態。以下是一個詳細的配置指南：

1. 環境準備

• 安裝Debian操作系統：首先，確保所有節點上安裝了Debian操作系統。
• 配置網絡：確保所有節點在同一個網絡中，并且可以相互通信。

2. 安裝Hadoop

在所有節點上安裝Hadoop?？梢允褂靡韵旅睿?/p>

wget http://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz
tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/src

3. 配置ZooKeeper集群

• 創建ZooKeeper目錄：

mkdir -p /usr/local/src/zookeeper/data
mkdir -p /usr/local/src/zookeeper/log

• 配置ZooKeeper：

編輯/usr/local/src/zookeeper/conf/zoo.cfg文件，添加以下內容：

dataDir=/usr/local/src/zookeeper/data
clientPort=2181
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

在每個ZooKeeper節點上啟動ZooKeeper服務：

/usr/local/src/zookeeper/bin/zkServer.sh start

4. 配置HDFS高可用性

• 修改core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>nn1:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>nn2:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>nn1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>nn2:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://zoo1:8485;zoo2:8485;zoo3:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
</configuration>

• 修改hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>nn1:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>nn2:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>nn1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>nn2:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://zoo1:8485;zoo2:8485;zoo3:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
</configuration>

5. 啟動Hadoop集群

• 格式化NameNode：

hdfs namenode -format

• 啟動JournalNode：

hadoop-daemons.sh start journalnode

• 啟動HDFS：

start-dfs.sh

• 啟動YARN：

start-yarn.sh

6. 驗證集群狀態

使用以下命令檢查HDFS和YARN的狀態：

hdfs dfsadmin -report
yarn node -list

7. 配置自動故障轉移

確保hdfs-site.xml中的以下配置已啟用：

<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

通過以上步驟，您可以在Debian環境下配置一個高可用的Hadoop集群。請根據實際需求調整配置細節。