在CentOS上進行HDFS數據遷移的步驟如下:
hdfs dfs -du -h /
查看各目錄的總數據量,并按業務劃分,統計各業務的數據總量。distcp
,通過簡單的命令即可完成數據遷移。distcp
的 -update
參數來確保數據的一致性,它會在目標集群上更新已存在的文件。-p
參數保留文件的權限信息,確保遷移后的文件權限與源集群一致。使用 distcp
命令進行數據遷移,例如:
hadoop distcp hdfs://namenode:port/source/path hdfs://namenode:port/destination/path
如果需要復制整個目錄,可以使用通配符:
hadoop distcp hdfs://namenode:port/source/directory hdfs://namenode:port/destination/directory
。