Hadoop在Ubuntu上的配置步驟是什么

在Ubuntu上配置Hadoop的步驟如下：

準備工作

1. 安裝Java：

   sudo apt update
   sudo apt install openjdk-11-jdk
   

   確認Java安裝成功后，使用以下命令檢查：

   java -version
   

2. 下載并解壓Hadoop：

   可以從Apache Hadoop官網下載Hadoop的二進制包。以下命令以Hadoop 3.3.0為例：

   cd /opt
   sudo wget https://downloads.apache.org/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz
   sudo tar -xzvf hadoop-3.3.0.tar.gz
   sudo mv hadoop-3.3.0 hadoop
   

3. 設置環境變量：

   編輯~/.bashrc文件，添加以下內容：

   export HADOOP_HOME=/opt/hadoop
   export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   使用以下命令使更改生效：

   source ~/.bashrc
   

配置Hadoop

1. 配置core-site.xml：

   編輯$HADOOP_HOME/etc/hadoop/core-site.xml文件，添加以下配置：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>
   

2. 配置hdfs-site.xml：

   編輯$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下配置：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/opt/hadoop/dfs/name</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/opt/hadoop/dfs/data</value>
       </property>
   </configuration>
   

3. 配置mapred-site.xml：

   復制$HADOOP_HOME/etc/hadoop/mapred-site.xml.template文件為mapred-site.xml，然后編輯該文件，添加以下配置：

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>
   

4. 配置yarn-site.xml：

   編輯$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下配置：

   <configuration>
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
       <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>
   </configuration>
   

格式化HDFS并啟動Hadoop

1. 格式化HDFS：

   hdfs namenode -format
   

2. 啟動Hadoop：

   啟動HDFS：

   start-dfs.sh
   

   啟動YARN：

   start-yarn.sh
   

3. 驗證安裝：

   使用以下命令檢查Hadoop服務的狀態：

   jps
   

   如果輸出包含Namenode、Datanode、ResourceManager和NodeManager等相關進程，說明Hadoop已成功啟動。

請注意，以上步驟是基于Hadoop 3.3.0版本的配置指南，不同版本的Hadoop可能會有細微的配置差異。建議參考所使用版本的官方文檔進行詳細配置。