Ubuntu上如何部署Hadoop集群

在Ubuntu上部署Hadoop集群是一個相對復雜的過程，需要仔細規劃和執行多個步驟。以下是一個基本的指南，幫助你在Ubuntu上搭建一個Hadoop集群。

環境準備

1. 準備硬件：至少需要3臺Ubuntu Server，分別作為Master和兩個Slave節點。
2. 安裝JDK：Hadoop運行需要JDK的支持?？梢酝ㄟ^以下命令安裝JDK 1.8：

   sudo apt-get update
   sudo apt-get install openjdk-8-jdk
   

3. 下載Hadoop：訪問Hadoop官網下載Hadoop 3.3.1版本。

安裝和配置Hadoop

1. 解壓Hadoop：

   wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
   tar -zxvf hadoop-3.3.1.tar.gz
   

2. 配置Hadoop環境變量： 編輯/etc/profile文件，在文件結尾處添加以下內容：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   使配置文件生效：

   source /etc/profile
   

3. 配置Hadoop集群：
   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://master:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>2</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/data/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/data/datanode</value>
         </property>
         <property>
             <name>dfs.permissions.enabled</name>
             <value>false</value>
         </property>
     </configuration>
     

   • mapred-site.xml：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

   • yarn-site.xml：

     <configuration>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>master</value>
         </property>
     </configuration>
     

啟動Hadoop集群

1. 將Hadoop安裝到Slave機器上：將Master節點中的Hadoop配置文件拷貝到Slave節點上。
2. 啟動Hadoop： 在Master節點上啟動Hadoop：

   start-all.sh
   

3. 檢查集群是否正常運行： 使用以下命令檢查集群狀態：

   jps
   

   如果輸出以下信息，則表示Hadoop集群正常運行：

   16209 NameNode
   16354 ResourceManager
   16420 SecondaryNameNode
   

驗證集群

1. 上傳文件至Hadoop集群： 在Master節點上創建輸入文件夾：

   hadoop fs -mkdir input
   

   將本地文件上傳到Hadoop集群：

   hadoop fs -put /home/user/input/sample.txt input
   

   查看上傳的文件內容：

   hadoop fs -cat input/sample.txt
   

   輸出以下內容，則表示上傳成功：

   Hello Hadoop!
   

2. 運行Hadoop示例： 準備輸入文件sample.txt，內容如下：

   Hello Hadoop!Hello MapReduce!
   

   上傳輸入文件與示例1相同，運行wordcount示例：

   hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount input/ output/
   

   查看輸出文件：

   hadoop fs -cat output/part-r-00000
   

   輸出以下內容，則表示示例運行成功：

   Hadoop! 1Hello 2MapReduce! 1
   

以上步驟提供了一個基本的指南，幫助你在Ubuntu上搭建一個Hadoop集群。根據具體需求，你可能需要進行更多的配置和優化。