Ubuntu HDFS如何進行集群擴容

Ubuntu HDFS集群擴容分為橫向擴容（新增節點）和縱向擴容（提升單機硬件），以下是具體步驟及注意事項：

一、橫向擴容（新增DataNode節點）

1. 準備工作

• 確保新節點與集群中其他節點的操作系統版本、Hadoop版本一致。
• 在新節點上安裝Java和Hadoop（與集群版本相同），配置JAVA_HOME和HADOOP_HOME環境變量。
• 確保新節點網絡配置正確，可與NameNode及其他DataNode通信。

2. 配置新節點

• 修改hdfs-site.xml：
  在新節點的$HADOOP_HOME/etc/hadoop/hdfs-site.xml中，添加或修改以下配置，指定數據存儲路徑（可多個路徑用逗號分隔）：

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/path/to/new/data/directory</value>
  </property>
  

• 修改core-site.xml：
  確保fs.defaultFS指向集群的NameNode地址（如hdfs://namenode:9000）。

3. 啟動新節點

• 在新節點上啟動DataNode服務：

  $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
  

• 在NameNode上刷新節點列表：

  hdfs dfsadmin -refreshNodes
  

4. 數據平衡

• 執行數據重新平衡，使數據均勻分布在所有節點：

  hdfs balancer
  

5. 驗證擴容

• 使用以下命令查看集群狀態，確認新節點已加入：

  hdfs dfsadmin -report
  

• 通過HDFS Web界面（如http://namenode:9870）檢查節點狀態。

二、縱向擴容（提升單機硬件）

1. 擴展磁盤

• 在現有節點上新增物理硬盤，分區并格式化（如ext4格式）。
• 掛載新分區到指定目錄（如/mnt/newdisk），并修改/etc/fstab實現開機自動掛載。

2. 配置HDFS

• 編輯hdfs-site.xml，在dfs.datanode.data.dir中添加新掛載目錄路徑。
• 重啟DataNode服務使配置生效：

  sudo systemctl restart hadoop-datanode
  

3. 數據遷移（可選）

• 若需將原有數據遷移到新磁盤，可使用hdfs balancer命令重新平衡數據。

三、注意事項

1. 數據安全：
   • 擴容前對集群數據進行完整備份，避免格式化或操作失誤導致數據丟失。
   • 確保新節點的機架位置與集群規劃一致，避免數據單點故障。
2. 性能影響：
   • 擴容操作可能影響集群性能，建議在低峰時段進行。
   • 監控集群狀態，確保新節點正常加入且數據分布均衡。
3. 高可用性：
   • 若集群配置了NameNode高可用（Active/Standby），需同步更新NameNode的共享存儲（如ZooKeeper）。

參考來源：