Debian Hadoop高可用性怎么設置

在Debian系統上設置Hadoop高可用性（High Availability, HA）涉及多個步驟，包括配置NameNode高可用性、ResourceManager高可用性、ZooKeeper集群、數據備份和恢復策略以及監控和告警配置。以下是詳細的步驟：

1. 安裝和配置ZooKeeper

首先，需要在Debian系統上安裝和配置ZooKeeper。ZooKeeper是一個分布式協調服務，用于管理Hadoop集群中的各種狀態信息和元數據。

# 下載ZooKeeper
wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

# 解壓縮
tar -xzf apache-zookeeper-3.8.0-bin.tar.gz

# 配置ZooKeeper
cd apache-zookeeper-3.8.0-bin
cp conf/zoo.cfg zoo.cfg

在zoo.cfg文件中配置ZooKeeper的數據目錄和客戶端端口：

dataDir=/var/lib/zookeeper
clientPort=2181

2. 配置Hadoop的高可用性

接下來，配置Hadoop的高可用性。需要修改core-site.xml和hdfs-site.xml文件。

修改core-site.xml

在core-site.xml文件中添加以下配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode1:8020,hdfs://namenode2:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/lib/hadoop/data</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>zookeeper1:2181,zookeeper2:2181,zookeeper3:2181</value>
    </property>
    <property>
        <name>hadoop.zk.address</name>
        <value>zookeeper1:2181,zookeeper2:2181,zookeeper3:2181</value>
    </property>
    <property>
        <name>ipc.client.connect.max.retries</name>
        <value>20</value>
    </property>
    <property>
        <name>ipc.client.connect.retry.interval</name>
        <value>1000</value>
    </property>
</configuration>

修改hdfs-site.xml

在hdfs-site.xml文件中添加以下配置：

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>namenode1,namenode2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.namenode1</name>
        <value>namenode1:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.namenode2</name>
        <value>namenode2:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.namenode1</name>
        <value>namenode1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.namenode2</name>
        <value>namenode2:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/var/lib/hadoop/hdfs/journalnode</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
</configuration>

3. 啟動Hadoop集群

格式化NameNode并啟動Hadoop集群：

# 格式化NameNode
hdfs namenode -format

# 啟動Hadoop集群
start-dfs.sh

4. 測試高可用性

創建一個測試文件并驗證高可用性：

# 創建一個測試文件
hdfs dfs -touch /test

# 停止主節點
hdfs haadmin -failover namenode1 namenode2

# 查看文件是否可用
hdfs dfs -ls /

如果文件可以正常訪問，則說明Hadoop的高可用性配置已成功。