如何調整CentOS HDFS內存

要調整CentOS HDFS（Hadoop分布式文件系統）的內存配置，您需要修改Hadoop的配置文件。以下是一些關鍵步驟：

1. 修改 hdfs-site.xml

hdfs-site.xml 文件位于 $HADOOP_HOME/etc/hadoop/ 目錄下。您需要編輯這個文件來調整內存相關的參數。

關鍵參數：

• dfs.namenode.handler.count: 控制NameNode處理客戶端請求的線程數。
• dfs.datanode.handler.count: 控制DataNode處理客戶端請求的線程數。
• dfs.namenode.rpc-address: NameNode的RPC地址。
• dfs.datanode.data.dir.perm: DataNode數據目錄的權限。
• dfs.namenode.http-address: NameNode的HTTP地址。
• dfs.namenode.secondary.http-address: Secondary NameNode的HTTP地址。
• dfs.namenode.checkpoint.dir: Checkpoint目錄。
• dfs.namenode.edits.dir: Edit日志目錄。
• dfs.namenode.memory.mb: NameNode的內存大?。ㄒ訫B為單位）。
• dfs.datanode.memory.mb: DataNode的內存大?。ㄒ訫B為單位）。

示例配置：

<configuration>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
    <property>
        <name>dfs.datanode.handler.count</name>
        <value>100</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address</name>
        <value>namenode:8020</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>namenode:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondarynamenode:50090</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>/hadoop/hdfs/namesecondary</value>
    </property>
    <property>
        <name>dfs.namenode.edits.dir</name>
        <value>/hadoop/hdfs/namedits</value>
    </property>
    <property>
        <name>dfs.namenode.memory.mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>dfs.datanode.memory.mb</name>
        <value>2048</value>
    </property>
</configuration>

2. 修改 core-site.xml

core-site.xml 文件也位于 $HADOOP_HOME/etc/hadoop/ 目錄下。您可能需要調整一些與內存相關的參數。

關鍵參數：

• fs.defaultFS: HDFS的默認文件系統URI。
• hadoop.tmp.dir: Hadoop臨時目錄。

示例配置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hdfs/tmp</value>
    </property>
</configuration>

3. 修改 yarn-site.xml

如果您使用YARN（Yet Another Resource Negotiator），您還需要修改 yarn-site.xml 文件來調整資源管理器的內存配置。

關鍵參數：

• yarn.nodemanager.resource.memory-mb: NodeManager的總內存大?。ㄒ訫B為單位）。
• yarn.scheduler.minimum-allocation-mb: YARN分配給容器的最小內存大?。ㄒ訫B為單位）。
• yarn.scheduler.maximum-allocation-mb: YARN分配給容器的最大內存大?。ㄒ訫B為單位）。

示例配置：

<configuration>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
    </property>
</configuration>

4. 重啟Hadoop服務

修改完配置文件后，您需要重啟Hadoop服務以使更改生效。

# 停止HDFS和YARN服務
stop-dfs.sh
stop-yarn.sh

# 啟動HDFS和YARN服務
start-dfs.sh
start-yarn.sh

5. 驗證配置

您可以使用以下命令來驗證配置是否生效：

# 查看NameNode的內存配置
hdfs getconf -confKey dfs.namenode.memory.mb

# 查看DataNode的內存配置
hdfs getconf -confKey dfs.datanode.memory.mb

# 查看YARN NodeManager的內存配置
yarn getconf -confKey yarn.nodemanager.resource.memory-mb

通過以上步驟，您可以成功調整CentOS HDFS的內存配置。