Hadoop常用的命令匯總

# Hadoop常用的命令匯總

Hadoop作為分布式系統基礎架構，其命令行工具是日常運維和開發的核心手段。本文將分類整理HDFS、YARN和MapReduce的常用命令，并附典型使用場景說明。

## 一、HDFS文件操作命令

### 1. 基礎文件管理
```bash
# 查看目錄內容
hadoop fs -ls /path/to/dir

# 創建目錄
hadoop fs -mkdir /new_dir

# 遞歸創建多級目錄
hadoop fs -mkdir -p /a/b/c

# 上傳本地文件到HDFS
hadoop fs -put localfile /hdfs/path

# 下載HDFS文件到本地
hadoop fs -get /hdfs/file localfile

2. 文件操作進階

# 查看文件內容（適合小文件）
hadoop fs -cat /file.txt

# 合并多個HDFS文件到本地
hadoop fs -getmerge /hdfs/dir/* merged_local.txt

# 查看文件尾部內容
hadoop fs -tail /large_file.log

# 設置文件副本數
hadoop fs -setrep -w 3 /important_file

二、YARN資源管理命令

1. 應用管理

# 提交MapReduce作業
yarn jar hadoop-mapreduce-examples.jar wordcount /input /output

# 查看運行中的任務
yarn application -list

# 終止指定應用
yarn application -kill application_123456789_0001

2. 節點監控

# 查看集群節點狀態
yarn node -list -all

# 檢查隊列資源使用
yarn queue -status default

三、MapReduce作業命令

1. 作業控制

# 查看正在運行的MR作業
mapred job -list

# 查看作業詳情
mapred job -status job_id

# 終止MR作業
mapred job -kill job_id

2. 歷史日志查詢

# 查看已完成作業列表
mapred job -history all

# 獲取作業計數器信息
mapred job -counter job_id group_name counter_name

四、系統維護命令

1. 安全模式操作

# 進入安全模式
hdfs dfsadmin -safemode enter

# 強制退出安全模式
hdfs dfsadmin -safemode leave

2. 磁盤平衡

# 啟動磁盤平衡
hdfs diskbalancer -plan node1.example.com
hdfs diskbalancer -execute /system/diskbalancer/nodename.plan.json

五、實用技巧

1. 通配符操作：

hadoop fs -ls /data/2023*

1. 空間統計：

hadoop fs -du -h /user/hive/warehouse

1. 權限管理：

hadoop fs -chmod 755 /public_dir
hadoop fs -chown hive:hadoop /warehouse

注意：所有命令均需在配置好Hadoop環境變量的客戶端執行，部分命令需要管理員權限。

總結

掌握這些命令可以完成90%的日常Hadoop操作。建議配合-help參數查看具體用法（如hadoop fs -help rm），實際使用時注意替換示例中的路徑和參數為真實值。對于生產環境，建議通過封裝腳本實現復雜操作。 “`

該文檔包含約800字，采用標準的Markdown格式，包含： 1. 分級標題組織內容 2. 代碼塊標記命令語法 3. 重點命令的特殊說明 4. 實際應用場景提示 5. 安全操作注意事項

可根據具體Hadoop版本調整命令細節，建議保存為Hadoop-Commands-Cheatsheet.md文件使用。