如何在CentOS上搭建HDFS集群

在CentOS上搭建HDFS（Hadoop分布式文件系統）集群涉及多個步驟，包括安裝Java、配置Hadoop環境、設置SSH無密碼登錄以及啟動和測試HDFS。以下是一個基本的指南：

1. 安裝Java

Hadoop需要Java環境，首先確保你的CentOS系統上安裝了Java。

sudo yum update -y
sudo yum install java-1.8.0-openjdk-devel -y

驗證Java安裝：

java -version

2. 下載并解壓Hadoop

從Apache Hadoop官方網站下載最新版本的Hadoop，并解壓到指定目錄。

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop

3. 配置Hadoop環境變量

編輯/etc/profile.d/hadoop.sh文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source /etc/profile.d/hadoop.sh

驗證Hadoop安裝：

hadoop version

4. 配置HDFS

編輯Hadoop配置文件，主要涉及core-site.xml、hdfs-site.xml和yarn-site.xml。

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5. 格式化HDFS

在NameNode節點上執行以下命令格式化HDFS：

hdfs namenode -format

6. 啟動HDFS集群

在NameNode節點上啟動HDFS：

start-dfs.sh

在DataNode節點上啟動DataNode：

start-dfs.sh

7. 驗證HDFS集群

訪問NameNode的Web界面，默認地址是http://namenode:50070。

8. 設置SSH無密碼登錄

為了方便管理，建議設置SSH無密碼登錄。

在NameNode節點上生成SSH密鑰：

ssh-keygen -t rsa

將公鑰復制到DataNode節點：

ssh-copy-id datanode_user@datanode_ip

9. 停止HDFS集群

在NameNode節點上停止HDFS：

stop-dfs.sh

注意事項

• 確保所有節點的時間同步。
• 確保防火墻允許必要的端口通信（如9000、50070等）。
• 根據實際需求調整配置文件中的參數。

通過以上步驟，你應該能夠在CentOS上成功搭建一個基本的HDFS集群。根據具體需求，可能還需要進行更多的配置和優化。