HDFS配置Ubuntu常見問題

以下是Ubuntu配置HDFS時的常見問題及解決方案：

1. 環境變量配置錯誤

   • 問題：hdfs命令無法識別，提示No such file or directory。
   • 原因：未正確設置HADOOP_HOME或PATH環境變量，或腳本權限不足。
   • 解決方案：
     • 編輯~/.bashrc，添加export HADOOP_HOME=/path/to/hadoop和export PATH=$PATH:$HADOOP_HOME/bin，執行source ~/.bashrc。
     • 確保start-dfs.sh等腳本有可執行權限：chmod +x /path/to/hadoop/sbin/start-dfs.sh。

2. 節點間通信異常

   • 問題：Connection refused或節點無法加入集群。
   • 原因：/etc/hosts中主機名與IP映射錯誤，或SSH免密登錄未配置。
   • 解決方案：
     • 檢查/etc/hosts，確保主節點與從節點的IP和主機名一致。
     • 配置SSH免密登錄：在主節點生成密鑰對，將id_rsa.pub復制到從節點的~/.ssh/authorized_keys。

3. 權限不足問題

   • 問題：執行HDFS命令時提示Permission denied。
   • 原因：未以HDFS超級用戶（通常為hadoop用戶）執行操作，或目錄權限設置錯誤。
   • 解決方案：
     • 切換至hadoop用戶：sudo su - hadoop，或使用sudo -u hadoop執行命令。
     • 調整目錄權限：hdfs dfs -chmod -R 750 /目標路徑，或修改所有者hdfs dfs -chown hadoop:hadoop /目標路徑。

4. 配置文件格式錯誤

   • 問題：啟動服務時報XML格式錯誤或參數無效。
   • 原因：core-site.xml、hdfs-site.xml等配置文件存在語法錯誤或參數沖突。
   • 解決方案：
     • 檢查配置文件格式，確保標簽閉合、屬性值正確（如fs.defaultFS需為hdfs://主機名:端口）。
     • 刪除冗余空格，避免特殊字符干擾解析。

5. NameNode無法啟動

   • 問題：NameNode進程未啟動，或啟動后立即退出。
   • 原因：未格式化NameNode，或存儲目錄權限不足。
   • 解決方案：
     • 首次啟動前執行格式化命令：hdfs namenode -format。
     • 確保dfs.namenode.name.dir指定的目錄存在且可寫，建議使用絕對路徑（如/home/hadoop/hdfs/namenode）。

6. 端口沖突

   • 問題：服務啟動失敗，提示Address already in use。
   • 原因：默認端口（如9000、50070）被其他進程占用。
   • 解決方案：
     • 修改hdfs-site.xml中的端口號（如dfs.namenode.rpc-address），避免與其他服務沖突。
     • 使用netstat -tulnp查看端口占用情況，終止沖突進程。

7. 數據塊副本異常

   • 問題：dfs.replication參數設置后，副本數未生效。
   • 原因：參數未正確配置或服務未重啟。
   • 解決方案：
     • 在hdfs-site.xml中設置dfs.replication（如<value>3</value>），重啟HDFS服務。
     • 檢查hdfs dfsadmin -report確認副本狀態，確保DataNode正常運行。

參考來源：