Debian上Hadoop高可用性配置

在Debian上配置Hadoop高可用性（HA）涉及多個步驟，包括設置ZooKeeper、配置NameNode和ResourceManager的高可用性、以及數據節點的管理。以下是一個基本的指南，幫助你在Debian系統上搭建Hadoop高可用性集群。

1. 環境準備

1.1 安裝Hadoop

首先，你需要在Debian虛擬機上安裝Hadoop。假設你已經下載了Hadoop的tar.gz文件，可以使用以下命令進行安裝：

tar -zxvf hadoop-3.3.0.tar.gz -C /export/servers/hadoop-ha/

1.2 安裝ZooKeeper

Hadoop的高可用性依賴于ZooKeeper。你需要安裝并配置ZooKeeper集群。

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz -C /export/servers/zookeeper/

2. 配置Hadoop高可用性

2.1 修改配置文件

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>master:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>slave1:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>slave1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
</configuration>

2.2 配置JournalNode

在每臺虛擬機上配置JournalNode：

mkdir -p /var/lib/hadoop/journalnode

編輯/etc/default/hadoop文件，添加以下內容：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/lib/hadoop/client-0.20/lib/*

然后啟動JournalNode：

start-dfs.sh journalnode

3. 啟動Hadoop集群

3.1 格式化NameNode

在主NameNode上格式化NameNode：

hdfs namenode -format

3.2 啟動NameNode和ResourceManager

在主NameNode和備用NameNode上啟動NameNode：

start-dfs.sh

在主ResourceManager上啟動ResourceManager：

start-yarn.sh

4. 驗證配置

使用以下命令檢查NameNode的狀態：

hdfs haadmin -report

使用以下命令檢查ResourceManager的狀態：

yarn node -list

5. 監控和維護

配置監控工具（如Ganglia、Prometheus等）來監控集群的狀態和性能指標，確保集群的穩定運行。