怎樣在 Ubuntu 上調試 Hadoop 程序

在Ubuntu上調試Hadoop程序可按以下步驟進行：

一、環境準備

1. 安裝JDK
   下載JDK并解壓，編輯~/.bashrc文件，添加環境變量：

   export JAVA_HOME=/path/to/jdk
   export PATH=$JAVA_HOME/bin:$PATH
   

   執行source ~/.bashrc使配置生效。

2. 安裝Hadoop
   解壓Hadoop到指定目錄，編輯~/.bashrc添加Hadoop環境變量：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
   

   執行source ~/.bashrc。

二、配置調試環境

1. 修改配置文件

   • 在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中確認JAVA_HOME路徑正確。
   • 在$HADOOP_HOME/etc/hadoop/log4j.properties中設置日志級別為DEBUG：

     log4j.logger.org.apache.hadoop=DEBUG
     ```。
     
     

2. 啟動Hadoop服務
   使用以下命令啟動偽分布式模式（單機調試）：

   $HADOOP_HOME/sbin/start-dfs.sh  # 啟動HDFS
   $HADOOP_HOME/sbin/start-yarn.sh  # 啟動YARN
   

   通過jps命令查看進程是否正常（如NameNode、ResourceManager等）。

三、程序調試方法

1. 本地模式調試（無需集群）
   在代碼中設置conf.set("mapreduce.framework.name", "local")，直接運行程序，輸入輸出路徑使用本地文件系統路徑。

2. 集群模式調試

   • 將程序打包為JAR包，通過hadoop jar命令提交到集群：

     hadoop jar your-program.jar MainClass input_path output_path
     

   • 若需調試MapReduce任務，可在代碼中設置斷點，通過IDE（如IntelliJ IDEA）遠程調試：
     1. 在IDE中配置遠程調試參數（如-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005）。
     2. 在yarn-site.xml中啟用調試端口（需修改集群配置）。

3. 日志分析
   查看Hadoop日志文件（位于$HADOOP_HOME/logs目錄），通過grep DEBUG過濾關鍵信息。

四、常見問題排查

• 權限問題：確保HDFS目錄權限正確，可通過hadoop fs -chmod修改。
• 網絡連通性：使用ping或telnet檢查節點間網絡是否通暢。
• 配置錯誤：檢查core-site.xml、hdfs-site.xml等配置文件的語法和參數是否正確。

參考資料：