CentOS HDFS常用命令有哪些

在CentOS系統中，HDFS（Hadoop Distributed File System）的常用命令主要包括以下幾類：

啟動與停止服務

1. 啟動HDFS

   start-dfs.sh
   

2. 停止HDFS

   stop-dfs.sh
   

3. 格式化NameNode（僅在首次啟動或重置集群時使用）

   hdfs namenode -format
   

4. 查看HDFS狀態

   hdfs dfsadmin -report
   

文件操作

1. 創建目錄

   hdfs dfs -mkdir /path/to/directory
   

2. 刪除目錄或文件

   hdfs dfs -rm -r /path/to/directory
   hdfs dfs -rm /path/to/file
   

3. 上傳文件到HDFS

   hdfs dfs -put localfile /path/to/hdfs
   

4. 從HDFS下載文件到本地

   hdfs dfs -get /path/to/hdfs localfile
   

5. 查看HDFS中的文件和目錄列表

   hdfs dfs -ls /path/to/directory
   

6. 復制文件或目錄

   hdfs dfs -cp /source/path /destination/path
   

7. 移動或重命名文件或目錄

   hdfs dfs -mv /source/path /destination/path
   

8. 更改文件或目錄的權限

   hdfs dfs -chmod 755 /path/to/file_or_directory
   

9. 更改文件或目錄的所有者

   hdfs dfs -chown username:groupname /path/to/file_or_directory
   

高級操作

1. 設置副本因子

   hdfs dfs -setrep -w 3 /path/to/file
   

2. 檢查文件的塊信息

   hdfs fsck /path/to/file -files -blocks -locations
   

3. 查看HDFS的塊報告

   hdfs dfsadmin -report
   

4. 調整HDFS配置

   • 編輯hdfs-site.xml和core-site.xml文件，然后重啟HDFS服務。

監控與日志

1. 查看HDFS的NameNode和DataNode日志

   • 日志通常位于$HADOOP_HOME/logs目錄下。

2. 使用Web界面監控HDFS

   • 默認情況下，NameNode的Web界面地址是http://namenode_host:50070。

其他實用命令

• 列出所有正在運行的Java進程

  jps
  

• 查找特定進程ID的進程信息

  ps -ef | grep <process_name>
  

• 殺死進程

  kill -9 <process_id>
  

注意事項

• 在執行任何可能影響集群穩定性的操作之前，請確保已備份重要數據。
• 部分命令可能需要管理員權限（使用sudo）。
• 根據實際部署情況，某些命令的路徑和參數可能會有所不同。

總之，熟練掌握這些HDFS常用命令對于日常管理和維護Hadoop集群至關重要。