Debian如何管理Hadoop服務

在Debian系統上管理Hadoop服務通常涉及以下幾個關鍵步驟：

安裝和配置Hadoop

1. 安裝Java環境： Hadoop需要Java運行環境。首先，確保系統已經安裝了Java。如果沒有，可以使用以下命令安裝OpenJDK：

   sudo apt update
   sudo apt install openjdk-11-jdk
   

   確認Java已正確安裝：

   java -version
   

2. 下載并解壓Hadoop： 訪問Hadoop官方網站下載適用于Debian的Hadoop版本，例如Hadoop 3.3.1。

   wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
   sudo tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
   sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
   

3. 配置Hadoop環境變量： 編輯~/.bashrc文件，添加以下內容：

   export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   使配置生效：

   source ~/.bashrc
   

4. 配置Hadoop配置文件： 在Hadoop目錄下，編輯以下配置文件：

   • core-site.xml：

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://namenode:9000</value>
       </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
       <property>
         <name>dfs.replication</name>
         <value>3</value>
       </property>
       <property>
         <name>dfs.namenode.name.dir</name>
         <value>/usr/local/hadoop/dfs/name</value>
       </property>
       <property>
         <name>dfs.datanode.data.dir</name>
         <value>/usr/local/hadoop/dfs/data</value>
       </property>
     </configuration>
     

   • mapred-site.xml：

     <configuration>
       <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
       </property>
     </configuration>
     

   • yarn-site.xml：

     <configuration>
       <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
       </property>
       <property>
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>
     </configuration>
     

5. 格式化HDFS： 在NameNode上運行以下命令格式化HDFS：

   hdfs namenode -format
   

6. 啟動Hadoop服務： 在NameNode上啟動Hadoop的NameNode和DataNode：

   ./sbin/start-dfs.sh
   ./sbin/start-yarn.sh
   

7. 驗證安裝： 檢查Hadoop版本：

   hadoop version
   

   運行一個簡單的WordCount示例來驗證安裝是否成功。

管理Hadoop服務

1. 啟動和停止Hadoop集群：

   • 啟動所有服務：

     start-all.sh
     

   • 停止所有服務：

     stop-all.sh
     

2. 管理Hadoop文件系統(HDFS)：

   • 創建目錄：

     hdfs dfs -mkdir /path/to/directory
     

   • 上傳和下載文件：

     hdfs dfs -put /local/path/file /hdfs/path/
     hdfs dfs -get /hdfs/path/file /local/path/
     

   • 顯示文件列表：

     hdfs dfs -ls /path/to/directory
     

3. 管理Hadoop作業：

   • 提交作業：

     hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount input_directory output_directory
     

   • 顯示作業狀態：

     yarn application -status <applicationId>
     

   • 殺死作業：

     yarn application -kill <applicationId>
     

監控和管理Hadoop集群

1. 使用Hadoop自帶的Web界面：

   • ResourceManager UI：通?？梢酝ㄟ^瀏覽器訪問ResourceManager的Web界面來監控集群的狀態。默認情況下，ResourceManager的端口是8088，訪問地址為http://<ResourceManager_Host>:8088。

2. 使用命令行工具：

   • 查看作業的提交、運行和完成情況：

     yarn application -list
     yarn application -status <applicationId>
     yarn logs -applicationId <applicationId>
     

3. 使用系統監控工具：

   • Tiptop：一個輕量級的命令行系統監控工具，可以實時展示系統的CPU使用率、內存占用、磁盤I/O活動、網絡流量狀況以及進程運行狀態等關鍵性能指標。

4. 使用日志聚合功能：

   • Hadoop的日志聚合功能可以自動收集并匯總各個節點的運行日志至中央存儲（通常是HDFS），實現了日志的集中化管理。

5. 使用監控腳本：

   • 根據需要編寫自定義的監控腳本，結合Hadoop的SSH特性，定期收集系統性能數據。例如，可以使用dstat等工具來監控系統的CPU、內存、磁盤I/O和網絡使用情況。

以上步驟提供了在Debian系統上管理Hadoop資源的基本指南。在實際操作中，可能還需要根據具體的集群配置和環境進行調整。