CentOS上HDFS集群擴容步驟如下:
準備工作
/etc/hosts文件。添加新節點
hdfs-site.xml中添加新節點的IP和端口,在core-site.xml中配置NameNode地址。hdfs namenode -format(會清除數據,需提前備份)。hdfs --daemon start datanode,通過jps或NameNode Web界面(http://namenode:9870)驗證是否加入集群。數據負載均衡
hdfs balancer -threshold 5(默認閾值10%,可根據需求調整),使數據均勻分布在各節點。驗證與監控
hdfs dfsadmin -report查看集群狀態、節點列表及數據分布。注意事項:
dfs.datanode.data.dir配置,Hadoop 3+支持單節點內磁盤均衡。