Ubuntu上HDFS數據遷移方法

在Ubuntu上進行HDFS數據遷移，常用方法及步驟如下：

一、工具選擇

• Hadoop DistCp：Hadoop自帶，支持大規模集群間數據遷移，適合同/不同版本集群。
• 其他工具：如Kettle、DataX、Sqoop等，適用于復雜場景（如跨數據源遷移）。

二、遷移步驟

1. 評估與準備

   • 用hdfs dfs -du -h /命令統計源集群數據量，按業務分目錄。
   • 確保新老集群網絡互通，或通過對象存儲（如COS）中轉。
   • 備份重要數據，避免遷移失敗導致丟失。

2. 執行遷移

   • 同版本集群：
     hadoop distcp hdfs://源集群IP:端口/源路徑 hdfs://目標集群IP:端口/目標路徑。
   • 不同版本集群：
     通過hftp://協議連接源集群，例如：
     hadoop distcp hftp://源集群IP:50070/源路徑 hdfs://目標集群IP:端口/目標路徑。
   • 參數說明：
     • -update：更新目標已存在文件，確保數據一致性。
     • -p：保留文件權限、副本數等元數據。
     • -bandwidth：限制遷移帶寬，避免影響線上業務。

3. 校驗與清理

   • 用distcp -update校驗數據一致性，處理失敗文件。
   • 驗證文件權限是否與源集群一致。

三、注意事項

• 帶寬控制：遷移時監控網絡負載，避免占用過多帶寬。
• 增量遷移：通過對比源集群和目標集群的文件修改時間，僅遷移新增/修改數據。
• 權限管理：確保目標集群的HDFS用戶有足夠權限寫入數據。

四、參考命令示例

# 同集群遷移（保留權限、更新文件）  
hadoop distcp -p -update hdfs://namenode1:9000/data hdfs://namenode1:9000/new_data  

# 跨版本集群遷移（通過hftp協議）  
hadoop distcp -p hftp://namenode2:50070/data hdfs://namenode3:9000/new_data  

以上方法基于Ubuntu環境下的Hadoop生態工具，具體操作需根據集群配置調整。