如何在CentOS上配置HDFS高可用

在CentOS上配置HDFS（Hadoop Distributed File System）高可用性，需要遵循以下步驟：

1. 準備工作

• 硬件準備：確保至少有三臺服務器，用于部署NameNode和Secondary NameNode。
• 軟件準備：安裝Java和Hadoop。

2. 安裝Java

sudo yum install java-1.8.0-openjdk-devel

3. 下載并解壓Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

4. 配置Hadoop

編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，設置Java路徑：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

5. 配置core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

6. 配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondarynamenode:50090</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop/data/journalnode</value>
    </property>
</configuration>

7. 配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-cluster</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>resourcemanager1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>resourcemanager2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>zookeeper1:2181,zookeeper2:2181,zookeeper3:2181</value>
    </property>
</configuration>

8. 配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

9. 啟動JournalNode

在所有journalnode服務器上執行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start journalnode

10. 格式化NameNode

在其中一個NameNode服務器上執行：

/usr/local/hadoop/bin/hdfs namenode -format

11. 啟動Secondary NameNode

在Secondary NameNode服務器上執行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start secondarynamenode

12. 啟動NameNode

在第一個NameNode服務器上執行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode

在第二個NameNode服務器上執行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode

13. 啟動ResourceManager

在ResourceManager1服務器上執行：

/usr/local/hadoop/sbin/yarn-daemon.sh start resourcemanager

在ResourceManager2服務器上執行：

/usr/local/hadoop/sbin/yarn-daemon.sh start resourcemanager

14. 啟動DataNode

在所有DataNode服務器上執行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start datanode

15. 驗證配置

使用hdfs dfsadmin -report命令檢查集群狀態。

注意事項

• 確保所有節點之間的網絡通信正常。
• 確保防火墻允許必要的端口通信。
• 定期備份配置文件和數據。

通過以上步驟，你可以在CentOS上配置一個高可用的HDFS集群。