如何在CentOS上配置Hadoop

在CentOS上配置Hadoop可以分為多個步驟，以下是詳細的步驟概述：

1. 安裝和配置Java環境：

   • 安裝JDK，推薦使用OpenJDK 1.8?？梢允褂靡韵旅畎惭b：

     sudo yum install java-1.8.0-openjdk-devel
     

   • 配置Java環境變量，編輯/etc/profile文件，添加以下內容：

     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
     export PATH=$PATH:$JAVA_HOME/bin
     

     然后執行source /etc/profile使配置生效。

2. 下載和解壓Hadoop：

   • 從Apache Hadoop官網下載最新版本的Hadoop壓縮包，例如Hadoop 3.3.1：下載鏈接
   • 解壓Hadoop壓縮包到指定目錄，例如/opt/hadoop：

     tar -xzvf hadoop-3.3.1.tar.gz -C /opt/hadoop
     

3. 配置Hadoop環境變量：

   • 編輯/etc/profile文件，添加以下內容：

     export HADOOP_HOME=/opt/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

     然后執行source /etc/profile使配置生效。

4. 配置Hadoop集群：

   • 復制Hadoop配置文件模板并修改：
     • 復制/opt/hadoop/etc/hadoop/core-site.xml.template為/opt/hadoop/etc/hadoop/core-site.xml，并修改如下內容：

       <configuration>
           <property>
               <name>fs.defaultFS</name>
               <value>hdfs://localhost:9000</value>
           </property>
       </configuration>
       

     • 復制/opt/hadoop/etc/hadoop/hdfs-site.xml.template為/opt/hadoop/etc/hadoop/hdfs-site.xml，并修改如下內容：

       <configuration>
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
       </configuration>
       

     • 復制/opt/hadoop/etc/hadoop/mapred-site.xml.template為/opt/hadoop/etc/hadoop/mapred-site.xml，并修改如下內容：

       <configuration>
           <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
           </property>
       </configuration>
       

     • 復制/opt/hadoop/etc/hadoop/yarn-site.xml.template為/opt/hadoop/etc/hadoop/yarn-site.xml，并修改如下內容：

       <configuration>
           <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>master</value>
           </property>
       </configuration>
       

5. 格式化HDFS：

   • 在主節點上執行以下命令格式化HDFS：

     hdfs namenode -format
     

6. 啟動Hadoop集群：

   • 啟動HDFS和YARN服務：

     start-dfs.sh
     start-yarn.sh
     

7. 驗證Hadoop是否正常運行：

   • 使用jps命令查看Hadoop進程是否已啟動，如果看到NameNode、DataNode、ResourceManager、NodeManager等進程，則表示Hadoop集群已成功啟動。

8. 配置免密鑰登錄：

   • 在各節點上生成密鑰對并配置免密鑰登錄，以便在節點之間無需密碼即可互相訪問。

這些步驟涵蓋了在CentOS上配置Hadoop的基本流程，具體操作可能會因Hadoop版本和環境而有所不同，建議參考官方文檔進行詳細配置。