CentOS HDFS如何安裝配置

在CentOS上安裝和配置Hadoop分布式文件系統（HDFS）涉及多個步驟。以下是詳細的步驟指南：

1. 環境準備

• 安裝JDK：確保系統上安裝了JDK 8或更高版本。
• 配置網絡：設置靜態IP地址，修改/etc/sysconfig/network-scripts/ifcfg-ens33文件，設置ONBOOT=yes和BOOTPROTO=static。
• 修改主機名：修改/etc/hostname和/etc/hosts文件，確保主機名唯一且能解析。

2. 安裝Hadoop

• 下載Hadoop：從Apache Hadoop官方網站下載最新版本的Hadoop安裝包。
• 解壓安裝包：將安裝包解壓到指定目錄，例如/usr/local/hadoop。

3. 配置Hadoop環境變量

• 編輯配置文件：
  • core-site.xml：

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://namenode:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>
    </configuration>
    

  • hdfs-site.xml：

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop/hdfs/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/hadoop/hdfs/datanode</value>
        </property>
    </configuration>
    

  • yarn-site.xml和mapred-site.xml：用于YARN和MapReduce的配置。
• 配置環境變量： 編輯/etc/profile文件，添加Hadoop路徑和環境變量：

  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

  使配置生效：

  source /etc/profile
  

4. 格式化NameNode

• 首次格式化：在首次啟動HDFS時，需要格式化NameNode：

  hdfs namenode -format
  

5. 啟動HDFS

• 啟動HDFS服務：

  sbin/start-dfs.sh
  

• 驗證啟動狀態：使用以下命令檢查HDFS狀態：

  jps
  

  確保NameNode、DataNode和SecondaryNameNode進程正常運行。

6. 驗證配置

• 創建和上傳文件：
  • 創建HDFS目錄：

    hdfs dfs -mkdir /user/test
    

  • 上傳文件到HDFS：

    hdfs dfs -put /path/to/localfile /user/test
    

  • 查看文件：

    hdfs dfs -ls /user/test
    

7. 常見問題及解決方法

• DataNode無法連接到NameNode：檢查/etc/hosts文件和防火墻設置，確保所有節點之間可以互相解析和通信。
• NameNode無法啟動：檢查配置文件是否有誤，特別是dfs.namenode.name.dir和dfs.datanode.data.dir路徑。

通過以上步驟，您可以在CentOS上成功安裝和配置HDFS。如果遇到問題，請參考相關日志文件和配置文件進行排查。