Debian Hadoop 資源管理策略

在 Debian 上配置 Hadoop 時，資源管理策略是一個關鍵部分，它涉及到如何有效地分配和管理集群中的計算資源。以下是一些關鍵配置和策略：

YARN 資源管理

• ResourceManager (RM): 作為集群資源的仲裁者，負責管理整個集群的計算資源，并將這些資源分配給應用程序。它包括一個可插拔式的調度器（Scheduler）和一個 ApplicationManager，用于管理集群中的用戶作業。
• NodeManager (NM): 每個節點上的代理，管理該節點上的用戶作業和工作流，并不斷發送自己 Container 使用情況給 ResourceManager。
• ApplicationMaster (AM): 應用程序級別的管理實體，負責與 ResourceManager 協商以獲取資源（以 Container 表示），并將得到的資源進一步分配給內部的任務。

關鍵配置參數

• ResourceManager:

  • yarn.scheduler.minimum-allocation-mb: 最小容器內存
  • yarn.scheduler.increment-allocation-mb: 容器內存增量
  • yarn.scheduler.maximum-allocation-mb: 最大容器內存
  • yarn.scheduler.minimum-allocation-vcores: 最小容器虛擬 CPU 內核數量
  • yarn.scheduler.increment-allocation-vcores: 容器虛擬 CPU 內核增量
  • yarn.scheduler.maximum-allocation-vcores: 最大容器虛擬 CPU 內核數量
  • yarn.resourcemanager.webapp.address: ResourceManager Web 應用程序 HTTP 端口。

• ApplicationMaster:

  • yarn.resourcemanager.am.max-attempts: ApplicationMaster 最大嘗試次數
  • yarn.am.liveness-monitor.expiry-interval-ms: ApplicationMaster 監控過期。

• NodeManager:

  • yarn.nodemanager.resource.memory-mb: 節點內存
  • yarn.nodemanager.resource.cpu-vcores: 節點虛擬 CPU 內核
  • yarn.nodemanager.webapp.address: NodeManager Web 應用程序 HTTP 端口。

日志聚合

為了提高系統穩定性和可維護性，Hadoop 引入了日志聚合功能，通過自動收集并匯總各個節點的運行日志至中央存儲（通常是 HDFS），實現了日志的集中化管理。

配置文件示例

以下是一個簡單的配置文件示例，展示了如何在 Debian 上配置 Hadoop 的資源管理策略：

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://host1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>host1</value>
    </property>
</configuration>

以上信息提供了在 Debian 上配置 Hadoop 資源管理策略的基本框架和關鍵配置參數。根據具體的業務需求和集群規模，可能還需要進行進一步的調整和優化。