Hadoop在Linux上怎樣故障排查

Hadoop在Linux上的故障排查指南

1. 查看Hadoop日志文件

日志是故障排查的核心依據，Hadoop的日志默認存放在$HADOOP_HOME/logs目錄下（如NameNode日志為hadoop-*-namenode-*.log）?？墒褂靡韵旅羁焖俣ㄎ诲e誤：

• 實時監控所有日志：tail -f $HADOOP_HOME/logs/*.log
• 篩選ERROR級別日志：grep "ERROR" $HADOOP_HOME/logs/*.log
• 查看特定組件的日志（如DataNode）：tail -f $HADOOP_HOME/logs/hadoop-*-datanode-*.log

2. 檢查Hadoop進程狀態

使用jps命令列出所有Java進程，確認Hadoop關鍵組件（NameNode、DataNode、ResourceManager、NodeManager）是否正常運行：

• 正常運行的進程應包含：NameNode、DataNode、ResourceManager、NodeManager（根據集群角色可能略有差異）。
• 若進程未啟動，需檢查對應組件的日志（如DataNode未啟動則查看hadoop-*-datanode-*.log）

3. 驗證網絡連接

Hadoop集群依賴節點間的網絡通信，需確保：

• 節點間網絡可達：ping <目標IP>（如ping 192.168.1.101）。
• 端口未被占用或防火墻攔截：
  • 檢查端口監聽狀態：netstat -tulnp | grep <端口號>（如NameNode默認端口50070）；
  • 開放防火墻端口：iptables -I INPUT -p tcp --dport <端口號> -j ACCEPT（或關閉防火墻：service iptables stop，生產環境建議配置規則而非直接關閉）

4. 檢查配置文件一致性

Hadoop的核心配置文件需在所有節點保持一致，常見文件及檢查要點：

• core-site.xml：確認fs.defaultFS（NameNode地址，如hdfs://namenode:9000）配置正確；
• hdfs-site.xml：檢查dfs.namenode.name.dir（NameNode元數據存儲路徑）、dfs.datanode.data.dir（DataNode數據存儲路徑）是否存在且權限正確（建議設置為755，屬主為Hadoop用戶）；
• yarn-site.xml：確認yarn.resourcemanager.hostname（ResourceManager地址）、yarn.nodemanager.aux-services（如mapreduce_shuffle）配置正確；
• mapred-site.xml：檢查mapreduce.framework.name（設為yarn）

5. 分析系統資源瓶頸

使用工具監控系統資源使用情況，識別性能瓶頸：

• CPU：top（查看CPU占用率高的進程）、vmstat 1 5（查看CPU、內存、IO的實時狀態）；
• 內存：free -m（查看內存使用量，確保剩余內存足夠）、vmstat 1 5（查看swap使用情況，避免頻繁交換）；
• 磁盤：df -h（查看磁盤空間，確保/、/tmp等分區有足夠空間）、iostat -x 1 5（查看磁盤IO負載，如%util接近100%需優化）

6. 解決常見特定故障

• NameNode無法啟動：
  • 可能原因：元數據損壞、clusterID不一致（NameNode與DataNode的VERSION文件中clusterID需相同）、端口被占用。
  • 解決方案：嘗試格式化NameNode（hadoop namenode -format，注意：會清除元數據，需提前備份）；檢查VERSION文件中的clusterID并修改一致。
• DataNode無法啟動：
  • 可能原因：dfs.datanode.data.dir路徑不存在或權限不足、與NameNode的clusterID不一致、殘留臨時文件。
  • 解決方案：創建存儲路徑并設置正確權限（mkdir -p /path/to/data && chown -R hadoop:hadoop /path/to/data）；刪除/tmp下的Hadoop臨時文件（如/tmp/hadoop-*）；同步clusterID。
• ResourceManager/NodeManager無法啟動：
  • 可能原因：yarn-site.xml配置錯誤（如yarn.resourcemanager.hostname未設置）、端口被占用。
  • 解決方案：檢查配置文件中的主機名、端口配置；使用lsof -i:<端口號>查找并殺死占用進程。
• 任務失敗：
  • 可能原因：資源不足（YARN內存/CPU配置過低）、數據本地性差（數據不在任務所在節點）、權限問題（HDFS路徑無訪問權限）。
  • 解決方案：調整YARN資源參數（如yarn.nodemanager.resource.memory-mb設為節點內存的80%）、優化數據存儲位置（hdfs dfs -put時指定-D dfs.datanode.use.datanode.hostname=true）、修改目錄權限（hdfs dfs -chmod -R 777 /tmp，生產環境建議細化權限）

7. 重啟Hadoop服務

若上述步驟無法解決問題，可嘗試重啟服務（注意：重啟前確保數據已保存）：

• 停止服務：$HADOOP_HOME/sbin/stop-all.sh（停止所有Hadoop服務）；
• 啟動服務：$HADOOP_HOME/sbin/start-all.sh（啟動所有Hadoop服務）；
• 驗證狀態：jps（查看進程是否啟動）、hdfs dfsadmin -report（查看HDFS節點狀態）、yarn node -list（查看YARN節點狀態）

8. 升級或回滾版本

若問題由Hadoop版本bug引起（如已知的功能缺陷或性能問題），可考慮：

• 升級到最新穩定版本（參考Hadoop官方升級文檔，注意兼容性）；
• 回滾到之前的穩定版本（卸載當前版本，下載舊版本并重新部署）