Ubuntu HDFS存儲如何擴展

Ubuntu HDFS存儲擴展主要有**橫向擴容（新增節點）和縱向擴容（提升單機硬件）**兩種方式，具體操作如下：

一、橫向擴容（推薦，線性增加容量）

1. 準備新節點

• 確保新節點與集群節點操作系統、Hadoop版本一致，配置好網絡（IP可達、主機名解析）。
• 在新節點安裝Hadoop（與集群版本一致），配置JAVA_HOME和HADOOP_HOME環境變量。

2. 配置集群

• 修改NameNode配置：在hdfs-site.xml中添加新節點的DataNode存儲路徑（如dfs.datanode.data.dir），并更新workers文件（路徑：/usr/local/hadoop/etc/hadoop/workers），添加新節點主機名。
• 分發配置：將更新后的配置文件同步到所有節點（可通過scp命令）。

3. 啟動新節點

• 在新節點執行：hdfs --daemon start datanode，啟動DataNode服務。
• 通過hdfs dfsadmin -report命令查看新節點是否加入集群。

4. 數據均衡

• 執行hdfs balancer -threshold 5（-threshold為負載差異閾值，單位%），將數據均勻分布到新節點。

二、縱向擴容（提升單機存儲）

1. 新增硬盤

• 在現有節點通過fdisk或lsblk命令添加新硬盤，格式化并掛載到指定目錄（如/data2），修改/etc/fstab實現開機自動掛載。

2. 配置HDFS識別新存儲

• 修改hdfs-site.xml中dfs.datanode.data.dir屬性，添加新掛載目錄（多個目錄用逗號分隔），例如：

  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/data1,/data2</value>  
  </property>  
  

• 重啟DataNode服務使配置生效：sudo systemctl restart hadoop-datanode。

注意事項

• 數據安全：操作前備份重要數據，避免誤操作導致數據丟失。
• 機架感知：確保新節點與集群其他節點位于不同機架，避免單點故障。
• 版本兼容：橫向擴容時，新節點Hadoop版本需與集群一致。

參考來源：