HDFS在CentOS如何正確配置

在CentOS上配置Hadoop分布式文件系統（HDFS）涉及多個步驟，以下是一個基本的配置指南：

前提條件

• 操作系統：CentOS 7或更高版本。
• Java環境：確保已安裝Java（推薦OpenJDK或Oracle JDK）。
• 網絡配置：確保所有節點之間可以互相通信，配置好hosts文件。
• 防火墻設置：確保必要的端口是開放的。

安裝步驟

1. 安裝Java

   sudo yum install java-1.8.0-openjdk-devel
   

2. 下載并解壓Hadoop

   wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
   tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
   sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
   

3. 配置Hadoop環境變量 編輯 /etc/profile.d/hadoop.sh 文件，添加以下內容：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   然后使配置生效：

   source /etc/profile.d/hadoop.sh
   

4. 配置Hadoop

   • 編輯 hadoop-env.sh 設置Java路徑：

     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
     

   • 編輯 core-site.xml 配置HDFS的默認文件系統：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://namenode:9000</value>
         </property>
     </configuration>
     

   • 編輯 hdfs-site.xml 配置HDFS的相關參數：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>3</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/data/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/data/datanode</value>
         </property>
     </configuration>
     

5. 格式化HDFS 在NameNode節點上執行以下命令：

   hdfs namenode -format
   

6. 啟動HDFS 在NameNode節點上啟動HDFS：

   start-dfs.sh
   

7. 驗證HDFS 訪問NameNode的Web界面（通常是http://namenode:50070），確認HDFS已成功啟動。

配置多個節點

如果你有多個節點，需要在所有節點上進行類似的配置，并確保它們在 /etc/hosts 文件中正確配置了彼此的IP地址和主機名。

注意事項

• 確保所有節點的時間同步。
• 確保Hadoop目錄的權限正確：

  sudo chown -R hadoop:hadoop /usr/local/hadoop
  

• 檢查防火墻設置，確保必要的端口（如9000, 50010, 50020, 50070, 50075, 50090）是開放的。

通過以上步驟，你應該能夠在CentOS上成功部署HDFS。根據具體需求，可能還需要進行更多的配置和優化。