hadoop的常用命令介紹

# Hadoop的常用命令介紹

## 一、Hadoop概述

Apache Hadoop是一個開源的分布式計算框架，主要用于處理海量數據的存儲和分析。它由HDFS（Hadoop Distributed File System）和MapReduce兩大核心組件構成，能夠高效地處理PB級別的數據。Hadoop生態系統還包括YARN、HBase、Hive、Pig等多個子項目，共同構成了一個強大的大數據處理平臺。

在日常使用Hadoop時，熟練掌握其命令行工具是進行高效數據處理的基礎。本文將詳細介紹Hadoop的常用命令，涵蓋HDFS文件操作、YARN資源管理、MapReduce作業控制等方面。

---

## 二、HDFS常用命令

### 1. 文件系統基礎操作

#### 查看目錄內容
```bash
hadoop fs -ls <path>

示例：

hadoop fs -ls /user/hadoop

創建目錄

hadoop fs -mkdir <path>

遞歸創建多級目錄：

hadoop fs -mkdir -p /user/hadoop/dir1/dir2

刪除文件/目錄

刪除文件：

hadoop fs -rm <file_path>

遞歸刪除目錄：

hadoop fs -rm -r <directory_path>

上傳/下載文件

從本地復制到HDFS：

hadoop fs -put <local_path> <hdfs_path>

從HDFS復制到本地：

hadoop fs -get <hdfs_path> <local_path>

2. 文件內容操作

查看文件內容

hadoop fs -cat <file_path>

查看文件尾部內容：

hadoop fs -tail <file_path>

合并文件到本地

hadoop fs -getmerge <hdfs_dir> <local_file>

3. 權限與屬性管理

修改文件權限

hadoop fs -chmod <mode> <path>

示例：

hadoop fs -chmod 755 /user/hadoop/file.txt

修改文件所有者

hadoop fs -chown <owner>:<group> <path>

查看文件空間使用

hadoop fs -du -h <path>

三、YARN資源管理命令

1. 應用程序管理

列出所有運行中的應用

yarn application -list

殺死指定應用

yarn application -kill <application_id>

查看應用日志

yarn logs -applicationId <application_id>

2. 節點管理

查看集群節點狀態

yarn node -list

查看節點詳情

yarn node -status <node_id>

四、MapReduce作業控制

1. 提交MapReduce作業

hadoop jar <jar_file> <main_class> <input_path> <output_path>

示例：

hadoop jar wordcount.jar WordCount /input /output

2. 作業監控

查看所有MapReduce作業

mapred job -list

查看作業詳情

mapred job -status <job_id>

終止作業

mapred job -kill <job_id>

五、高級管理與維護命令

1. 平衡HDFS數據

hdfs balancer -threshold 10

（threshold參數指定磁盤使用率差異閾值）

2. 安全模式操作

進入安全模式

hdfs dfsadmin -safemode enter

離開安全模式

hdfs dfsadmin -safemode leave

檢查安全模式狀態

hdfs dfsadmin -safemode get

3. 文件系統檢查與修復

檢查HDFS狀態

hdfs fsck /

修復損壞塊

hdfs fsck / -delete

六、實用技巧與最佳實踐

1. 批量操作：結合xargs處理大量文件

hadoop fs -ls /data | awk '{print $8}' | xargs -I {} hadoop fs -mv {} /archive

1. 性能監控：使用hadoop dfsadmin查看集群狀態

hdfs dfsadmin -report

1. 空間配額管理：

hdfs dfsadmin -setSpaceQuota 1T /user/hadoop

1. 跨集群復制：使用distcp工具

hadoop distcp hdfs://cluster1/src hdfs://cluster2/dest

七、常見問題排查

1. 權限拒絕錯誤：

   • 檢查用戶權限：hadoop fs -ls -d /path
   • 使用-chown和-chmod修正權限

2. 空間不足問題：

   • 檢查剩余空間：hdfs dfs -df -h
   • 清理回收站：hadoop fs -expunge

3. 作業卡住：

   • 檢查YARN資源：yarn application -list
   • 查看具體日志：yarn logs -applicationId <app_id>

八、總結

本文系統介紹了Hadoop生態系統中最常用的命令行工具，包括： - HDFS文件系統操作（約40%日常使用頻率） - YARN資源管理命令（約30%使用場景） - MapReduce作業控制（約20%應用場景） - 高級管理維護命令（10%特殊情況）

掌握這些命令后，用戶可以： ? 高效管理HDFS上的海量數據 ? 監控和優化集群資源使用 ? 提交和調試分布式計算作業 ? 快速定位和解決常見問題

建議讀者在實際工作中結合--help參數探索更多命令選項，例如：

hadoop fs -help put
yarn application -help

注意：不同Hadoop版本命令可能略有差異，本文基于Hadoop 3.x版本編寫。生產環境操作前建議先在測試集群驗證命令效果。 “`

（全文約2850字，實際字數可能因Markdown渲染略有差異）