在CentOS上部署Hadoop的步驟是什么

在CentOS上部署Hadoop的步驟如下：

1. 準備工作：

   • 確保操作系統為CentOS 7/8或更高版本。
   • 安裝JDK 8，配置環境變量。
   • 配置SSH，確保節點之間可以通過SSH無密碼登錄。

2. 安裝Hadoop：

   • 從Apache Hadoop官方網站下載最新版本的Hadoop（例如Hadoop 3.3.1）。
   • 解壓Hadoop文件并移動到指定目錄（如/usr/local/hadoop）。

3. 配置環境變量：

   • 編輯/etc/profile文件，添加Hadoop的環境變量：

     export HADOOP_HOME=/usr/local/hadoop
     export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

   • 保存并退出，然后執行source /etc/profile使配置生效。

4. 配置Hadoop主要文件：

   • 編輯core-site.xml，配置文件系統的默認URI：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

   • 編輯hdfs-site.xml，配置HDFS的存儲目錄和副本數：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

   • 編輯mapred-site.xml和yarn-site.xml，配置MapReduce和YARN的相關信息。

5. 格式化HDFS：

   • 在主節點上執行以下命令格式化HDFS：

     hdfs namenode -format
     

6. 啟動Hadoop集群：

   • 在主節點上執行以下命令啟動Hadoop集群：

     start-dfs.sh
     start-yarn.sh
     

7. 驗證集群：

   • 使用以下命令驗證Hadoop集群的運行狀態：

     jps
     

   • 確認輸出中包含NameNode、DataNode、ResourceManager、NodeManager等進程。

這些步驟涵蓋了在CentOS上部署Hadoop的基本流程，確保每個步驟都正確執行可以有效避免后續的問題。