在CentOS上進行HDFS遷移的步驟如下：
準備工作
- 梳理需要遷移的HDFS路徑：確定從哪個源路徑遷移到哪個目標路徑，并確保目標集群的存儲空間及文件數不超限額。
- 檢查集群狀態：確保源集群和目標集群的服務正常運行，特別是HDFS和YARN服務。
遷移流程
1. 擴容ZooKeeper和JournalNode
- 擴容ZooKeeper：按照一定比例（如5臺old+7臺new）擴容新集群的ZooKeeper節點，確保高可用性。
- 擴容JournalNode：修改配置文件以包含新加入的JournalNode，并逐一重啟JournalNode實例，確保配置被主NameNode識別并使用。
2. 遷移NameNode主節點
- 修改HA配置：在新增的Standby節點上配置HA信息。
- 拷貝數據：將老standby節點的fsimage和edits日志拷貝到新節點。
- 更新配置：將所有DataNode節點的配置更新到新的NameNode節點，并觀察DataNode節點是否能成功匯報。
3. 遷移DataNode數據節點
- 擴容DataNode：將新集群的DataNode節點加入到集群中。
- Decommission舊節點：逐步下線老集群的DataNode節點，數據會自動遷移到新節點。
4.滾動重啟RegionServer
- 配置HA：在新機器上新增Hadoop客戶端相關的HA配置。
- 啟動新服務：逐步啟動新機器的RegionServer服務，觀察服務穩定性。
- 下線舊服務：逐步停掉老機器的RegionServer服務，并觀察服務狀態。
5. 替換HBase Master節點
- 備份元數據：確保HBase Master節點的周期性清理工作、負載均衡和元數據操作可以正常進行。
- 切換Master節點：進行主備切換，確保新Master節點可以正常提供服務。
驗證遷移結果
- 檢查數據一致性：通過HDFS命令檢查源集群和目標集群的數據是否一致。
- 驗證服務狀態：確保所有服務在遷移后都能正常運行。
在進行HDFS遷移時，需要注意以下幾點：
- 數據一致性：確保在遷移過程中數據的一致性，避免數據丟失或損壞。
- 服務連續性：在遷移過程中保證HDFS和HBase等服務的高可用性，避免服務中斷。
- 權限設置：檢查并更新目標集群的權限設置，確保用戶和組信息正確。
以上步驟提供了一個基本的遷移流程，具體操作可能需要根據實際情況進行調整。在進行遷移之前，建議詳細閱讀相關文檔，并在測試環境中進行充分測試。
