YARN常用操作有哪些

# YARN常用操作有哪些

YARN（Yet Another Resource Negotiator）是Hadoop的核心組件之一，負責集群資源管理和作業調度。掌握YARN的常用操作對于大數據開發者至關重要。本文將介紹YARN的核心操作，包括作業提交、資源管理、隊列配置等。

---

## 1. YARN基礎操作

### 1.1 啟動/停止YARN服務
```bash
# 啟動YARN服務
$ start-yarn.sh

# 停止YARN服務
$ stop-yarn.sh

1.2 檢查集群狀態

# 查看YARN節點狀態
$ yarn node -list

# 查看集群資源使用情況
$ yarn top

2. 作業管理操作

2.1 提交MapReduce作業

$ yarn jar hadoop-mapreduce-examples.jar wordcount /input /output

2.2 查看運行中的作業

# 列出所有作業
$ yarn application -list

# 查看特定作業詳情
$ yarn application -status <ApplicationID>

2.3 終止作業

$ yarn application -kill <ApplicationID>

3. 資源隊列管理

3.1 查看隊列信息

$ yarn queue -status <queue_name>

3.2 修改隊列配置

通過修改capacity-scheduler.xml配置隊列資源：

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>default,prod,dev</value>
</property>

4. 日志管理

4.1 查看作業日志

# 獲取容器日志
$ yarn logs -applicationId <ApplicationID>

# 查看特定容器日志
$ yarn logs -applicationId <AppID> -containerId <ContainerID>

4.2 配置日志聚合

在yarn-site.xml中啟用：

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

5. 資源調優操作

5.1 設置內存/CPU資源

# 提交作業時指定資源
$ yarn jar ... -Dmapreduce.map.memory.mb=2048 \
               -Dmapreduce.reduce.memory.mb=4096

5.2 動態資源池調整

通過ResourceManager REST API動態修改：

curl -X PUT "http://rm-address:8088/ws/v1/cluster/scheduler-conf" \
     -H "Content-Type: application/json" \
     -d '{"update-queue-config": [{"queue":"dev","capacity":"30"}]}'

6. 安全相關操作

6.1 Kerberos認證

# 獲取Kerberos票據
$ kinit <username>

# 檢查票據狀態
$ klist

6.2 ACL權限控制

在yarn-site.xml中配置：

<property>
  <name>yarn.acl.enable</name>
  <value>true</value>
</property>

7. 常用監控命令

總結

本文涵蓋了YARN的7大類核心操作： 1. 服務啟停與狀態檢查 2. 作業生命周期管理 3. 資源隊列配置 4. 日志收集與分析 5. 資源分配與調優 6. 安全認證配置 7. 實時監控命令

熟練掌握這些操作可以顯著提升YARN集群管理效率。建議結合Web UI（http://resource-manager-host:8088）進行可視化監控。 “`