Ubuntu Hadoop故障如何排查

以下是Ubuntu Hadoop故障排查步驟：

1. 檢查基礎環境

   • 確認Java安裝正確，版本符合要求，配置JAVA_HOME環境變量。
   • 檢查Hadoop配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml）是否正確，重點關注端口、路徑等參數。

2. 查看進程與日志

   • 用jps命令查看Hadoop進程（NameNode、DataNode、ResourceManager等）是否正常運行。
   • 查看$HADOOP_HOME/logs目錄下的日志文件，分析錯誤信息或堆棧跟蹤。

3. 檢查集群狀態

   • 用hdfs dfsadmin -report查看HDFS節點狀態，確認DataNode是否存活、磁盤空間是否充足。
   • 用yarn node -list查看YARN節點狀態，檢查ResourceManager與NodeManager的連接。

4. 排查網絡與權限

   • 用ping、traceroute測試節點間網絡連通性，確保防火墻開放必要端口（如8088、50010等）。
   • 確認節點間SSH免密登錄配置正確，避免權限問題導致通信失敗。

5. 處理異常節點

   • 若發現故障節點，可通過編輯hdfs-site.xml中dfs.hosts.exclude文件將其隔離，再執行hdfs dfsadmin -refreshNodes下線。
   • 對故障節點執行hadoop-daemon.sh stop datanode和yarn-daemon.sh stop nodemanager停止服務。

6. 系統資源與性能監控

   • 用top、htop、vmstat監控CPU、內存、磁盤I/O，排查資源瓶頸。
   • 用hdfs fsck /檢查數據塊完整性，必要時觸發數據修復或均衡。

7. 其他操作

   • 若為配置錯誤導致，可嘗試重啟Hadoop服務（先停止再啟動）。
   • 參考官方文檔或社區論壇（如Stack Overflow）獲取針對性解決方案。

關鍵命令總結：

• 進程檢查：jps
• 日志查看：tail -f $HADOOP_HOME/logs/*.log
• HDFS狀態：hdfs dfsadmin -report
• 網絡測試：ping <節點IP>、traceroute <節點IP>
• 資源監控：top、hdfs fsck /