Hadoop在Linux中的故障排查步驟如下:
$HADOOP_HOME/logs
目錄,用tail -f
實時查看或grep "ERROR"
搜索錯誤信息。jps
命令確認NameNode、DataNode、ResourceManager等關鍵進程是否運行。ping
測試節點間連通性,檢查防火墻是否開放必要端口(如50070、8088等)。core-site.xml
、hdfs-site.xml
等配置正確,如fs.defaultFS
、端口等參數。top
、iostat
、vmstat
監控CPU、內存、磁盤使用情況,排查資源不足問題。http://namenode:50070
)和ResourceManager(http://resourcemanager:8088
)查看集群狀態和任務詳情。stop-all.sh
),再啟動(start-all.sh
),確保配置生效。hadoop fs -chmod
調整目錄權限。mapreduce.map.memory.mb
等參數,或擴展集群資源。若以上步驟無法解決,可參考官方文檔或社區論壇(如Stack Overflow)尋求進一步幫助。