Ubuntu HDFS遷移步驟如下:
遷移前準備
hdfs dfs -du -h /
查看各目錄數據量,按業務劃分統計。distcp
工具遷移。執行遷移
hadoop distcp hdfs://源集群:端口/路徑 hdfs://目標集群:端口/路徑
。
hadoop distcp hdfs://nn1:8020/data hdfs://nn2:8020/
。-p
:保留文件權限、副本數等元數據。-bandwidth
:限制遷移帶寬(單位MB)。-update
:更新目標集群已存在文件。遷移后校驗
distcp -diff
或對比文件列表檢查。hdfs dfs -ls -d
確認文件權限與源集群一致。注意事項:
參考來源: