如何在CentOS上部署HDFS集群

在CentOS上部署HDFS集群涉及多個步驟，包括配置Java環境、安裝Hadoop、配置Hadoop環境變量、格式化NameNode、啟動HDFS集群等。以下是一個基本的指南：

1. 配置Java環境

首先，確保你的系統上安裝了Java 8?？梢酝ㄟ^以下命令安裝：

yum install -y java-1.8.0-openjdk-devel

然后，配置Java環境變量：

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile
source /etc/profile
java -version

2. 安裝Hadoop

下載Hadoop安裝包并解壓到指定目錄，例如 /usr/local/hadoop：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/
ln -s /usr/local/hadoop/hadoop-3.2.1 /usr/local/hadoop/hadoop

3. 配置SSH免密登錄

在主節點上生成SSH密鑰并分發到所有節點：

ssh-keygen -t rsa
ssh-copy-id hadoop11
ssh-copy-id hadoop12
ssh-copy-id hadoop13

4. 配置Hadoop環境變量

編輯 /etc/profile 文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后，使配置生效：

source /etc/profile

5. 配置Hadoop配置文件

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop11:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop12:9868</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

6. 初始化HDFS集群

在NameNode節點上執行以下命令格式化集群：

hdfs namenode -format

7. 啟動HDFS集群

在擁有免密登錄權限的節點上執行：

start-dfs.sh

8. 驗證HDFS集群

可以通過訪問NameNode的Web界面來驗證集群是否啟動成功：

http://hadoop11:50070

注意事項

• 確保所有節點的配置文件完全一致。
• 配置文件中指定的目錄路徑需要正確設置。
• 如果需要高可用性（HA），需要配置ZooKeeper和JournalNode。

以上步驟提供了一個基本的HDFS集群部署流程，具體配置可能需要根據實際需求進行調整。