Ubuntu HDFS故障排查技巧

在Ubuntu系統中排查HDFS（Hadoop Distributed File System）故障時，可以采用以下幾種方法：

檢查HDFS服務狀態

使用以下命令檢查HDFS服務的狀態：

sudo systemctl status hadoop-hdfs-namenode
sudo systemctl status hadoop-hdfs-datanode

查看日志文件

HDFS的日志文件通常位于 /var/log/hadoop-hdfs/ 目錄下。通過查看NameNode和DataNode的日志文件，可以獲取關于錯誤的詳細信息，例如權限問題、磁盤故障、網絡問題等。

tail -f /var/log/hadoop-hdfs/hadoop-<username>-namenode-<hostname>.log
tail -f /var/log/hadoop-hdfs/hadoop-<username>-datanode-<hostname>.log

使用HDFS命令行工具

• 列出目錄內容：

  hdfs dfs -ls /path/to/directory
  

• 檢查文件狀態：

  hdfs dfs -stat %h /path/to/file
  

• 刪除目錄：

  hdfs dfs -rm -r /path/to/directory
  

• 進入HDFS Shell：

  hdfs dfs -bash
  

• 報告集群狀態：

  hdfs dfsadmin -report
  

• 退出安全模式：

  hdfs dfsadmin -safemode leave
  

• 檢查塊報告：

  hdfs fsck /
  

檢查配置文件

確保 core-site.xml、hdfs-site.xml 和 mapred-site.xml 等配置文件中的設置正確無誤，特別是與權限、副本因子、數據目錄等相關的配置。

監控和診斷工具

使用Ganglia、Prometheus等監控工具來監控HDFS集群的性能指標，如CPU使用率、內存使用率、磁盤I/O等。

處理常見故障

• NameNode進入安全模式：

  hdfs dfsadmin -safemode enter
  

• 退出安全模式：

  hdfs dfsadmin -safemode leave
  

• 檢查節點斷聯：

  使用 hdfs dfsadmin -report 命令查看集群狀態，檢查是否有DataNode丟失或塊副本數不足的情況。

• JVM內存問題：

  如果出現 java.lang.OutOfMemoryError: Java heap space 錯誤，可以調整JVM內存設置，例如通過以下命令：

  export HADOOP_HEAPSIZE=4000