Debian Hadoop集群擴容主要有動態擴容(添加新節點)和動態縮容(移除節點)兩種方式,具體方法如下:
hdfs-site.xml中添加dfs.hosts屬性,列出允許連接的DataNode網絡地址;在ResourceManager節點的yarn-site.xml中添加yarn.resourcemanager.nodes.include-path屬性,列出允許連接的NodeManager網絡地址。slaves文件(或include文件),添加所有DataNode和NodeManager的主機名。hadoop-daemon.sh start datanode和yarn-daemon.sh start nodemanager,啟動DataNode和NodeManager守護進程。hdfs dfsadmin -refreshNodes和yarn rmadmin -refreshNodes命令刷新節點列表,確認新節點已成功加入集群。hadoop-daemon.sh stop datanode和yarn-daemon.sh stop nodemanager,停止相關守護進程。slaves文件(或include文件)中刪除待移除節點的主機名。hdfs dfsadmin -refreshNodes和yarn rmadmin -refreshNodes命令刷新節點列表,確認節點已成功移除。