如何配置 Ubuntu Hadoop 的內存使用

配置 Ubuntu Hadoop 的內存使用涉及幾個關鍵步驟，包括設置 Java 虛擬機（JVM）參數、調整 Hadoop 配置文件以及可能的系統級調整。以下是一個基本的指南：

1. 設置 Java 虛擬機（JVM）參數

Hadoop 使用 Java 運行，因此首先需要配置 JVM 的內存參數。編輯 hadoop-env.sh 文件，通常位于 $HADOOP_HOME/etc/hadoop/ 目錄下。

export JAVA_HEAP_MAX=4g  # 設置最大堆內存為 4GB
export HADOOP_HEAPSIZE=4g  # 設置 Hadoop 的堆內存大小

2. 調整 Hadoop 配置文件

2.1 core-site.xml

編輯 core-site.xml 文件，設置 HDFS 的默認文件系統和其他相關參數。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 其他配置 -->
</configuration>

2.2 hdfs-site.xml

編輯 hdfs-site.xml 文件，設置 HDFS 的副本數和其他相關參數。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 其他配置 -->
</configuration>

2.3 mapred-site.xml

編輯 mapred-site.xml 文件，設置 MapReduce 框架的相關參數。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 其他配置 -->
</configuration>

2.4 yarn-site.xml

編輯 yarn-site.xml 文件，設置 YARN 相關參數。

<configuration>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value>  # 設置 NodeManager 的總內存
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>  # 設置最小分配內存
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>  # 設置最大分配內存
    </property>
    <!-- 其他配置 -->
</configuration>

3. 系統級調整

3.1 調整交換空間

確保系統有足夠的交換空間，以避免內存不足的問題。

sudo fallocate -l 8G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

在 /etc/fstab 文件中添加以下行以確保交換空間在重啟后仍然有效：

/swapfile swap swap defaults 0 0

3.2 調整內核參數

編輯 /etc/sysctl.conf 文件，添加或修改以下內核參數：

vm.swappiness=10  # 減少交換空間的使用
vm.vfs_cache_pressure=50  # 調整文件系統緩存的壓力

應用更改：

sudo sysctl -p

4. 重啟服務

完成上述配置后，重啟 Hadoop 相關服務以應用更改。

sudo systemctl restart hadoop-hdfs-namenode
sudo systemctl restart hadoop-hdfs-datanode
sudo systemctl restart hadoop-yarn-resourcemanager
sudo systemctl restart hadoop-yarn-nodemanager

通過以上步驟，你可以有效地配置 Ubuntu Hadoop 的內存使用。根據你的具體需求和硬件資源，可能需要進一步調整這些參數。