Hadoop在Linux上的故障排查技巧

在Linux環境下進行Hadoop故障排查，可以遵循以下步驟：

檢查Hadoop集群狀態

• 使用 jps 命令查看Java進程是否正常運行，確保NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等進程都在運行。
• 查看Hadoop日志，NameNode和DataNode的日志通常位于 HADOOP_HOME/logs 目錄下。

檢查HDFS狀態

• 使用 hdfs dfsadmin -report 命令查看HDFS的健康狀況和節點信息。
• 檢查NameNode和DataNode的連接，確保NameNode能夠正確地與DataNode通信。

檢查YARN狀態

• 使用 yarn node -list 命令查看ResourceManager管理的NodeManager列表及其狀態。
• 檢查ResourceManager和NodeManager的日志文件。

檢查網絡連接

• 使用 ping 和 traceroute 命令檢查集群節點之間的網絡連通性。
• 檢查防火墻設置，確保必要的端口（如8088、50010、50020等）在防火墻中是開放的。

檢查配置文件

• 核對 core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml，確保所有配置項正確無誤。
• 檢查環境變量，確保 HADOOP_HOME 和 PATH 等環境變量設置正確。

使用Hadoop命令行工具

• 使用 hdfs dfs -ls / 命令檢查HDFS根目錄下的文件和目錄。
• 使用 yarn application -list 命令查看正在運行的YARN應用程序。

查看系統資源

• 使用 top、htop 或 vmstat 命令監控CPU、內存和磁盤I/O的使用情況。
• 檢查磁盤空間，確保HDFS數據節點有足夠的磁盤空間。

使用監控工具

• 使用Ganglia、Prometheus、Grafana等監控工具實時監控集群的性能和健康狀況。

日志分析

• 詳細查看日志文件，特別是錯誤日志，通常會有詳細的錯誤信息和堆棧跟蹤。
• 使用日志分析工具，如ELK Stack（Elasticsearch, Logstash, Kibana）來集中管理和分析日志。

參考官方文檔和社區資源

• 查閱Hadoop官方文檔，獲取詳細的故障排除指南和最佳實踐。
• 參與社區討論，在Stack Overflow、Hadoop郵件列表等地方尋求幫助。

故障排查技巧總結

• 基礎檢查：使用 df -h、du -sh /path/*、ls -lhS /path/ | head 等命令快速定位磁盤空間和使用情況。
• 進階排查：使用 hdfs dfs -df -h、yarn logs -applicationId、kafka-topics.sh --describe --zookeeper localhost:2181 等命令專項檢查HDFS、YARN和Kafka的狀態。
• 深度診斷：檢查 inode 耗盡、磁盤配額限制、僵尸進程占用、Docker容器日志等。
• 應急處理：快速清理臨時文件、擴容HDFS、緊急釋放YARN資源等。
• 長期解決方案：自動化監控腳本、HDFS最佳配置、日志輪轉配置等。

通過以上步驟和技巧，可以系統地排查和解決Hadoop在Linux上的故障。根據具體情況，可能需要結合多種方法來定位和解決問題。