CentOS HDFS如何添加節點

在CentOS上添加HDFS節點（即DataNode）通常涉及以下幾個步驟：

1. 準備工作

• 確保所有節點的時間同步：使用NTP服務同步所有節點的時間。
• 配置SSH無密碼登錄：在NameNode和所有DataNode之間配置SSH無密碼登錄。
• 關閉防火墻：在所有節點上臨時關閉防火墻，以便進行配置更改。

2. 配置Hadoop環境

2.1 在NameNode上配置

編輯/etc/hadoop/conf/core-site.xml文件，確保以下配置項正確：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:8020</value>
    </property>
</configuration>

編輯/etc/hadoop/conf/hdfs-site.xml文件，添加或修改以下配置項：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value> <!-- 根據需要設置副本數 -->
    </property>
    <property>
        <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
        <value>false</value>
    </property>
</configuration>

2.2 在DataNode上配置

將NameNode上的Hadoop配置文件復制到DataNode上：

scp -r /etc/hadoop/conf/* datanode:/etc/hadoop/conf/

3. 啟動HDFS服務

在NameNode上啟動HDFS服務：

start-dfs.sh

在DataNode上啟動HDFS服務：

start-dfs.sh

4. 驗證節點添加

在NameNode上運行以下命令，檢查DataNode是否已成功添加：

hdfs dfsadmin -report

你應該能看到新添加的DataNode在列表中。

5. 配置自動故障轉移（可選）

如果你希望啟用自動故障轉移（HA），需要額外配置JournalNode和ZooKeeper。

5.1 配置JournalNode

在所有JournalNode節點上編輯/etc/hadoop/conf/hdfs-site.xml文件，添加以下配置項：

<configuration>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/path/to/journalnode/data</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value>
    </property>
</configuration>

5.2 配置ZooKeeper

在所有ZooKeeper節點上啟動ZooKeeper服務，并配置Hadoop使用ZooKeeper進行HA管理。

6. 啟動HA服務

在NameNode上啟動HA服務：

start-dfs.sh

7. 驗證HA配置

在瀏覽器中訪問NameNode的Web界面（通常是http://namenode:50070），檢查HA狀態是否正常。

通過以上步驟，你應該能夠在CentOS上成功添加HDFS節點。如果有任何問題，請檢查日志文件以獲取更多信息。