CentOS HDFS配置步驟解析

以下是在CentOS上配置HDFS的核心步驟解析，基于單節點基礎配置，高可用配置可在此基礎上擴展：

一、環境準備

1. 安裝Java

   • CentOS 7/8默認倉庫安裝OpenJDK 8：

     sudo yum install -y java-1.8.0-openjdk-devel  
     

   • 驗證安裝：java -version。

2. 配置網絡與主機名

   • 修改/etc/hosts，確保節點間IP與主機名可解析（如192.168.1.100 namenode）。
   • （可選）關閉防火墻或開放Hadoop端口（9000、50070等）：

     sudo systemctl stop firewalld  
     sudo systemctl disable firewalld  
     ```。  
     
     

二、安裝Hadoop

1. 下載并解壓

   • 從Apache官網下載Hadoop（如3.3.1版本），解壓至指定目錄（如/usr/local/hadoop）：

     wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz  
     tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/  
     sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop  
     ```。  
     
     

2. 配置環境變量

   • 編輯/etc/profile.d/hadoop.sh，添加：

     export HADOOP_HOME=/usr/local/hadoop  
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
     

   • 使配置生效：source /etc/profile.d/hadoop.sh。

三、配置HDFS核心文件

1. core-site.xml

   • 指定NameNode地址和臨時目錄：

     <property>  
       <name>fs.defaultFS</name>  
       <value>hdfs://namenode:9000</value>  
     </property>  
     <property>  
       <name>hadoop.tmp.dir</name>  
       <value>/usr/local/hadoop/tmp</value>  
     </property>  
     ```。  
     
     

2. hdfs-site.xml

   • 配置副本數、NameNode和DataNode數據目錄：

     <property>  
       <name>dfs.replication</name>  
       <value>3</value>  
     </property>  
     <property>  
       <name>dfs.namenode.name.dir</name>  
       <value>/usr/local/hadoop/data/namenode</value>  
     </property>  
     <property>  
       <name>dfs.datanode.data.dir</name>  
       <value>/usr/local/hadoop/data/datanode</value>  
     </property>  
     ```。  
     
     

四、格式化與啟動

1. 格式化NameNode

   • 首次啟動前執行（僅在NameNode節點操作）：

     hdfs namenode -format  
     ```。  
     
     

2. 啟動HDFS服務

   • 啟動命令：start-dfs.sh（需在NameNode節點執行）。
   • 驗證狀態：jps查看NameNode、DataNode進程是否運行。

五、驗證配置

• 命令行驗證：

  hdfs dfs -mkdir /user/test  # 創建目錄  
  hdfs dfs -put /local/file /user/test  # 上傳文件  
  hdfs dfs -ls /user/test  # 查看文件  
  ```。  
  

• Web界面驗證：
  訪問http://namenode:50070（默認端口），查看集群狀態。

六、高可用配置（可選）

若需搭建高可用集群，需額外配置：

1. ZooKeeper集群：用于監控NameNode狀態，實現故障自動切換。
2. JournalNode：存儲NameNode元數據編輯日志，確保數據一致性（需部署奇數個節點，如3個）。
3. 修改hdfs-site.xml：添加dfs.ha.namenodes、dfs.namenode.shared.edits.dir等參數，啟用自動故障轉移。

注意事項

• 權限問題：確保存儲目錄（如/usr/local/hadoop/data）權限正確，建議使用hadoop用戶運行服務。
• 多節點配置：需在所有節點的/etc/hosts中配置主機名映射，并在slaves文件中列出DataNode主機名。

以上步驟參考自，可根據實際需求調整配置參數。