CentOS HDFS配置內存設置

在CentOS上配置HDFS（Hadoop分布式文件系統）的內存設置，主要涉及調整YARN（Yet Another Resource Negotiator）的資源管理參數，因為YARN負責集群資源的分配和管理，包括內存。以下是一些關鍵步驟和參數：

1. 修改 yarn-site.xml 文件

yarn-site.xml 文件位于 $HADOOP_HOME/etc/hadoop/ 目錄下。你需要編輯這個文件來設置YARN容器的內存限制。

關鍵參數：

• yarn.nodemanager.resource.memory-mb: 設置NodeManager可以使用的最大內存量（以MB為單位）。
• yarn.scheduler.minimum-allocation-mb: 設置YARN調度器分配給容器的最小內存量（以MB為單位）。
• yarn.scheduler.maximum-allocation-mb: 設置YARN調度器分配給容器的最大內存量（以MB為單位）。

示例配置：

<configuration>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value> <!-- 8GB -->
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value> <!-- 1GB -->
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value> <!-- 4GB -->
    </property>
</configuration>

2. 修改 core-site.xml 文件

core-site.xml 文件也位于 $HADOOP_HOME/etc/hadoop/ 目錄下。你需要確保配置了ResourceManager的地址。

示例配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://your-resourcemanager-host:8020</value>
    </property>
</configuration>

3. 修改 hdfs-site.xml 文件

hdfs-site.xml 文件同樣位于 $HADOOP_HOME/etc/hadoop/ 目錄下。你需要設置HDFS的塊大小和副本數等參數。

示例配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value> <!-- 副本數 -->
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value> <!-- Namenode處理請求的線程數 -->
    </property>
</configuration>

4. 重啟服務

修改完配置文件后，需要重啟Hadoop集群中的相關服務以使配置生效。

# 停止所有Hadoop服務
stop-dfs.sh
stop-yarn.sh

# 啟動所有Hadoop服務
start-dfs.sh
start-yarn.sh

5. 驗證配置

你可以通過YARN的Web界面或命令行工具來驗證配置是否生效。

使用Web界面：

• 打開瀏覽器，訪問 http://your-resourcemanager-host:8088，查看NodeManager的內存使用情況。

使用命令行：

# 查看YARN節點信息
yarn node -list

# 查看YARN應用程序信息
yarn application -list

通過以上步驟，你應該能夠成功配置CentOS上HDFS的內存設置。根據你的具體需求和集群規模，可能需要調整這些參數以達到最佳性能。