HDFS數據遷移過程中需要注意的事項
遷移前需完成三項核心準備工作：數據量評估（使用hdfs dfs -du -h /命令查看各目錄總數據量，按業務劃分統計各業務數據規模，為遷移節奏規劃提供依據）、目標集群檢查（確認目標集群有足夠存儲空間、NameNode/DataNode等組件運行正常，避免遷移中途因資源不足中斷）、配置信息記錄（記錄源集群與目標集群的NameNode地址、端口號、遷移源路徑/目標路徑，確保遷移時參數準確）。
Hadoop自帶的DistCp工具是大規模數據遷移的首選，其基于MapReduce實現分布式復制，具備高容錯性（任務失敗可重試）和高效性（并行處理）。使用時需掌握關鍵參數：-m（設置Map任務最大數量，根據集群資源和帶寬調整，默認20）、-bandwidth（限制單個Map任務的帶寬，單位MB，避免占用過多網絡資源影響線上業務）、-p（保留文件權限、所有權、時間戳等屬性，確保遷移后文件屬性與源集群一致）。
遷移過程可能消耗大量網絡帶寬，需提前與運維團隊確認新老集群之間的最大可用帶寬，并通過-bandwidth參數限制遷移帶寬（如-bandwidth 50表示限制單個Map任務最大帶寬為50MB/s）。建議選擇老集群低負載時段（如凌晨2-6點）執行遷移，進一步降低對線上業務的影響。
為避免遷移過程中源集群數據發生變化（新增、刪除、修改），需采取以下措施：分批遷移（按業務/目錄順序遷移，優先遷移靜態數據）、增量同步（全量遷移完成后，使用-update參數同步新增或修改的文件，避免重復傳輸未變化數據）、一致性校驗（遷移完成后，使用distcp -update再次同步，或通過校驗腳本對比源集群與目標集群的文件數量、大小、CRC校驗值，確保數據一致）。
遷移后需確保文件權限與源集群一致，使用-p參數可保留文件的**權限（rwx）、用戶/組（owner/group）、時間戳（modification/access time）**等屬性。若未指定-p參數，目標集群文件權限將默認為執行MapReduce任務的用戶權限，需后續手動執行hdfs dfs -chown -R USER:GROUP /target/path修正。
遷移過程中可能遇到以下異常，需提前制定處理方案：文件新增/刪除（若遷移期間源集群文件發生變化，新增文件會漏遷，刪除文件會導致遷移失敗，可通過-i參數忽略失敗文件，后續手動處理新增/刪除文件）、任務失敗（若Map任務失敗，需刪除目標集群中的臟數據，重新執行遷移命令；若因網絡中斷導致失敗，可恢復后繼續遷移）、網絡超時（確保目標集群的HDFS端口（默認50070/8020）開放，客戶端有權限訪問，必要時配置SSL/TLS加密傳輸）。
遷移完成后，需進行全面驗證：數據完整性驗證（對比源集群與目標集群的文件數量、大小，使用hdfs dfs -count /source/path和hdfs dfs -count /target/path命令統計，確保一致）、權限驗證（檢查目標集群文件權限是否符合要求，使用hdfs dfs -ls -h /target/path查看）、業務功能測試（將客戶端配置指向新集群，運行測試用例驗證HDFS讀寫、Hive查詢、Spark計算等業務功能是否正常，確保遷移不影響線上業務）。
