CentOS下如何搭建HDFS集群

在CentOS系統上搭建HDFS（Hadoop Distributed File System）集群涉及多個步驟，包括安裝Java、配置Hadoop環境、設置SSH無密碼登錄以及啟動和測試HDFS。以下是一個基本的指南：

1. 安裝Java

Hadoop需要Java運行時環境。你可以使用以下命令安裝OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

驗證安裝：

java -version

2. 下載并解壓Hadoop

從Apache Hadoop官方網站下載最新版本的Hadoop，并解壓到你選擇的目錄。例如：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

3. 配置Hadoop環境變量

編輯/etc/profile.d/hadoop.sh文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使環境變量生效：

source /etc/profile.d/hadoop.sh

4. 配置Hadoop

編輯$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，設置Java路徑：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

編輯$HADOOP_HOME/etc/hadoop/core-site.xml文件，添加以下配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

編輯$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.1/data/datanode</value>
    </property>
</configuration>

5. 配置SSH無密碼登錄

在所有節點上生成SSH密鑰：

ssh-keygen -t rsa

將公鑰復制到其他節點：

ssh-copy-id namenode
ssh-copy-id datanode1
ssh-copy-id datanode2

6. 格式化HDFS

在NameNode節點上執行以下命令格式化HDFS：

hdfs namenode -format

7. 啟動HDFS集群

在NameNode節點上啟動HDFS：

start-dfs.sh

8. 驗證HDFS集群

訪問NameNode的Web界面（通常是http://namenode:50070），檢查集群狀態。

你也可以使用以下命令檢查HDFS的狀態：

hdfs dfsadmin -report

9. 停止HDFS集群

在NameNode節點上停止HDFS：

stop-dfs.sh

以上步驟涵蓋了在CentOS上搭建HDFS集群的基本過程。根據實際需求，你可能需要進一步配置和優化Hadoop集群。