怎樣排查 Ubuntu Hadoop 故障

排查 Ubuntu 上的 Hadoop 故障可以按照以下步驟進行：

1. 檢查日志文件：

   • Hadoop 的日志文件通常位于 $HADOOP_HOME/logs 目錄下。檢查這些日志文件，特別是 hadoop-<username>-namenode-<hostname>.log、hadoop-<username>-datanode-<hostname>.log、hadoop-<username>-secondarynamenode-<hostname>.log 等，以獲取錯誤信息和異常堆棧跟蹤。

2. 驗證配置文件：

   • 確保所有 Hadoop 配置文件（如 core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml）都是正確的，并且符合你的集群配置。特別注意 fs.defaultFS、dfs.replication、yarn.resourcemanager.hostname 等關鍵屬性。

3. 檢查 HDFS 狀態：

   • 使用 hdfs dfsadmin -report 命令來檢查 HDFS 的狀態，包括 NameNode 和 DataNode 的狀態。
   • 使用 hdfs fsck / 命令來檢查文件系統的健康狀況。

4. 檢查 YARN 狀態：

   • 使用 yarn node -list 命令來查看集群中所有節點的狀態。
   • 使用 yarn application -list 或 yarn application -status <application_id> 來查看正在運行的應用程序的狀態。

5. 網絡和防火墻設置：

   • 確保集群中的所有節點之間網絡連接正常，沒有防火墻或安全組規則阻止節點間的通信。
   • 檢查 Hadoop 配置中的端口設置，確保它們沒有被其他服務占用，并且在所有節點上都是一致的。

6. 資源使用情況：

   • 使用 top、htop、df -h、free -m 等命令來檢查系統的資源使用情況，包括 CPU、內存、磁盤空間等。

7. Java 環境：

   • 確保所有節點上安裝了正確版本的 Java，并且 JAVA_HOME 環境變量已經設置。

8. 重啟服務：

   • 如果在檢查過程中發現了問題，嘗試重啟 Hadoop 相關的服務，如 NameNode、DataNode、ResourceManager、NodeManager 等。

9. 查看系統日志：

   • 除了 Hadoop 的日志外，還應該檢查系統的日志文件，如 /var/log/syslog 或 /var/log/messages，以查找可能與 Hadoop 故障相關的信息。

10. 使用診斷工具：

    • Hadoop 提供了一些內置的診斷工具，如 hadoop checknative -a 可以用來檢查本地庫的支持情況。

11. 咨詢社區：

    • 如果以上步驟都無法解決問題，可以考慮在 Hadoop 社區尋求幫助，或者在 Stack Overflow 等問答網站上提問。

在進行故障排查時，記得記錄你的操作和發現的信息，這樣可以幫助你更快地定位問題所在。