hadoop2.7.1不重啟如何動態刪除節點和新增節點

小編給大家分享一下hadoop2.7.1不重啟如何動態刪除節點和新增節點，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

hadoop重啟太麻煩了，需要暫停當前所有的任務。所以動態的刪除和新增節點就很重要了。

先說動態刪除節點：

（配置為可動態刪除節點，這個是要重啟的，以后需要動態刪除節點時，就不用重啟了。）進入hadoop目錄的etc/hadoop/目錄

1.增加excludes文件，每行寫一個要刪除的節點的主機名

2.在hdfs-site.xml中增加

<property>
<name>dfs.hosts.exclude</name>
<value>/data/hadoop/etc/hadoop/excludes</value>
</property>

3.在mapred-site.xml中增加

<property>
<name>mapred.hosts.exclude</name>
<value>/data/hadoop/etc/hadoop/excludes</value>
<final>true</final>
</property>

這樣，如果需要刪除某一節點，只需把該節點的主機名寫入excludes文件，然后執行（僅在namenode上修改文件，執行命令即可）

hadoop dfsadmin -refreshNodes

查看節點狀態hadoop dfsadmin -report或者web管理端頁面，可以看到該節點是decomissioning狀態，等它變化為decomissioned，就可以把這個節點拿掉了。拿掉后，該節點上進程還是都在的，直接kill即可。

動態新增節點：

因為我是把刪除的節點重新加上，所以環境之類的就不用配置了。直接使用原來的就行。

在節點上執行，/data/hadoop/etc/hadoop/是配置文件目錄，這是啟動datanode

hadoop-daemon.sh --config /data/hadoop/etc/hadoop/ --script hdfs start nodemanager

然后啟動nodemanager

yarn-daemons.sh --config /data/hadoop/etc/hadoop/ start nodemanager

這條命令是啟動了所有slave主機的nodemanager，所以執行中會報錯，其他的主機已啟動。

我看有的帖子通過以下命令啟動：

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

我的啟動了，這兩個命令就不試了。朋友們測試后可以告訴我哦~(已測試過了，成功，第二種啟動更合理)

然后，刪除前文中的excludes文件中該節點的主機名，執行刷新操作即可。

hadoop dfsadmin -refreshNodes

至此，可以看到已經新增了該節點的datanode。

hadoop的數據的負載均衡：

執行以下命令，-threshold 5這個參數可以不寫，默認是10

start-banlancer.sh -threshold 5

然后就可以查看日志了，在哪臺機器上執行該命令，日志就在哪臺機器上。

tail -f /data/hadoop/logs/hadoop-hadoop-balancer-hostname.log

靜等均衡完畢！

以上是“hadoop2.7.1不重啟如何動態刪除節點和新增節點”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！