準備新節點
/etc/hosts
文件。core-site.xml
、hdfs-site.xml
等)同步至新節點。添加節點到集群
slaves
(或workers
)文件中添加新節點主機名。hdfs-site.xml
中配置dfs.hosts
屬性并添加新節點。啟動新節點服務
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
負載均衡(可選)
hdfs balancer -threshold 10 # 設置數據遷移閾值
驗證擴容
http://主節點IP:9870
,ResourceManager:http://主節點IP:8088
)查看節點狀態。hdfs dfsadmin -report
確認新節點已加入。標記退役節點
hdfs-site.xml
中配置dfs.hosts.exclude
文件,添加需移除節點主機名。sbin/stop-dfs.sh && sbin/start-dfs.sh
停止節點服務
hadoop-daemon.sh stop datanode
yarn-daemon.sh stop nodemanager
數據遷移
hdfs balancer -threshold 10
驗證縮容
hdfs dfsadmin -report
確認節點已移除且數據分布正常。清理配置
slaves
文件中刪除退役節點主機名,并同步至其他節點。參考來源: