Ubuntu Hadoop 資源管理如何進行

在 Ubuntu 上配置和管理 Hadoop 資源涉及多個步驟，包括安裝 Hadoop、配置 Hadoop 集群以及監控和調整資源使用。以下是一個基本的指南：

1. 安裝 Hadoop

下載 Hadoop

首先，從 Apache Hadoop 官方網站 下載最新版本的 Hadoop。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

解壓 Hadoop

將下載的文件解壓到 /usr/local 目錄下。

sudo tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/

配置環境變量

編輯 ~/.bashrc 或 /etc/profile 文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后使配置生效：

source ~/.bashrc

2. 配置 Hadoop 集群

配置 core-site.xml

編輯 $HADOOP_HOME/etc/hadoop/core-site.xml 文件，添加以下內容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

配置 hdfs-site.xml

編輯 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件，添加以下內容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/data/datanode</value>
    </property>
</configuration>

格式化 HDFS

在首次啟動 HDFS 之前，需要對其進行格式化：

hdfs namenode -format

啟動 HDFS

啟動 HDFS 的 NameNode 和 DataNode：

start-dfs.sh

配置 mapred-site.xml

編輯 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件，添加以下內容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置 yarn-site.xml

編輯 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件，添加以下內容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

啟動 YARN

啟動 ResourceManager 和 NodeManager：

start-yarn.sh

3. 監控和調整資源

使用 Web UI 監控

• NameNode Web UI: http://localhost:50070
• ResourceManager Web UI: http://localhost:8088

調整資源

可以通過修改配置文件來調整 Hadoop 集群的資源分配。例如：

• 調整 YARN 資源管理器的內存和 CPU: 編輯 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件，添加或修改以下屬性：

  <property>
      <name>yarn.scheduler.minimum-allocation-mb</name>
      <value>1024</value>
  </property>
  <property>
      <name>yarn.scheduler.maximum-allocation-mb</name>
      <value>8192</value>
  </property>
  <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>8192</value>
  </property>
  

• 調整 MapReduce 任務的內存和 CPU: 編輯 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件，添加或修改以下屬性：

  <property>
      <name>mapreduce.map.memory.mb</name>
      <value>2048</value>
  </property>
  <property>
      <name>mapreduce.reduce.memory.mb</name>
      <value>4096</value>
  </property>
  

4. 停止 Hadoop 集群

停止 HDFS 和 YARN：

stop-dfs.sh
stop-yarn.sh

通過以上步驟，你可以在 Ubuntu 上安裝、配置和管理 Hadoop 集群，并根據需要調整資源分配。