CentOS HDFS數據遷移方法介紹

CentOS環境下HDFS數據遷移的常見方法及實踐指南

在CentOS系統中，HDFS數據遷移需根據場景（集群內/跨集群、全量/增量、本地/遠程）選擇合適工具，以下是具體方法及操作要點：

一、Hadoop DistCp工具（集群間/集群內大規模數據遷移首選）

DistCp（Distributed Copy）是Hadoop原生分布式拷貝工具，基于MapReduce實現，支持跨集群、增量同步，適用于大規模數據遷移。
核心操作步驟：

1. 前置準備：評估遷移數據量（通過hdfs dfs -du -h /source_path查看）、新老集群間帶寬，制定分批次遷移計劃（如按業務目錄拆分）；
2. 基礎遷移命令：使用hadoop distcp [options] source_path target_path格式，例如將源集群/data目錄遷移至目標集群/destination目錄：
   hadoop distcp hdfs://source-namenode:8020/data hdfs://destination-namenode:8020/destination；
3. 關鍵參數說明：
   • -p：保留文件屬性（權限、時間戳、所有者等）；
   • -update：僅復制源集群中修改過的文件（增量同步）；
   • -overwrite：覆蓋目標集群中已存在的同名文件；
4. 后續驗證：遷移完成后，通過hdfs dfs -ls檢查目標路徑文件數量，使用hdfs fsck /target_path -files -blocks -locations驗證數據塊完整性。

二、Rsync工具（本地/局域網輕量級同步）

Rsync是Linux系統自帶的增量同步工具，適合小規模數據或需要頻繁同步的場景，支持本地目錄間、本地與遠程主機間同步。
常用命令示例：

1. 本地目錄同步：將src/目錄內容同步至dest/（不包含src本身）：
   rsync -av src/ dest/；
2. 遠程同步：將本地src/目錄同步至遠程主機（IP：172.16.22.12）的dest/目錄：
   rsync -av src/ 172.16.22.12:/data/test/dest/（需輸入遠程主機root密碼）；
3. 增量與刪除：添加-z參數壓縮傳輸，--delete參數刪除目標目錄中源目錄不存在的文件（保持嚴格一致）：
   rsync -avz --delete src/ 172.16.22.12:/data/test/dest/。

三、Hive數據遷移（結構化數據跨集群遷移）

針對Hive表中的結構化數據，可通過導出到本地/臨時HDFS、再導入目標集群的方式實現。
操作流程：

1. 導出數據到本地：在源Hive集群執行INSERT OVERWRITE LOCAL DIRECTORY "/tmp/hive_export" ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT * FROM table_name;；
2. 上傳至目標HDFS：將本地導出的/tmp/hive_export目錄上傳至目標HDFS：
   hadoop fs -put /tmp/hive_export /target_hdfs_path/；
3. 導入目標Hive表：在目標Hive集群創建相同結構的表后，執行LOAD DATA INPATH '/target_hdfs_path/hive_export' OVERWRITE INTO TABLE table_name;。

四、Sqoop工具（關系型數據庫與HDFS間遷移）

Sqoop用于在關系型數據庫（MySQL、Oracle等）與HDFS之間遷移結構化數據，適用于從數據庫導入數據至HDFS或反向導出。
安裝與配置：

1. 通過sudo yum install sqoop安裝Sqoop；
2. 編輯sqoop-site.xml配置文件，添加源數據庫（如MySQL）和目標HDFS的連接信息（URL、用戶名、密碼等）；
   數據導入示例：將MySQL的db_name.table_name表數據導入目標HDFS的/target_path目錄：
   sqoop import --connect jdbc:mysql://source_host:3306/db_name --username your_username --password your_password --table table_name --target-dir hdfs:///target_path --verbose;。

五、HDFS內置命令（日常文件移動與備份）

HDFS自帶的fs命令可用于日常文件上傳、下載、移動及本地備份，適合小規模數據操作。
常用命令：

1. 本地到HDFS：使用hadoop fs -put local_file_path hdfs_destination_path，例如將本地/home/user/file.txt上傳至HDFS的/input目錄；
2. HDFS內移動：使用hadoop fs -mv hdfs_source_path hdfs_destination_path，例如將/input/file.txt移動至/output目錄；
3. HDFS到本地：使用hadoop fs -get hdfs_source_path local_destination_path，例如將HDFS的/output/file.txt下載至本地/home/user/；
4. 本地備份：使用tar命令打包HDFS數據（需先下載至本地），例如：
   hadoop fs -get /hdfs_path /local_backup/ && tar -czvf hdfs_backup.tar.gz /local_backup/hdfs_path。

六、數據遷移注意事項

1. 前置檢查：遷移前確認源集群與目標集群正常運行，目標集群有足夠存儲空間；
2. 備份機制：關鍵數據遷移前務必備份（如使用hdfs dfs -cp復制到本地或其他存儲），避免數據丟失；
3. 權限一致性：使用DistCp的-p參數保留文件權限，或遷移后手動調整目標集群文件權限（hadoop fs -chmod）；
4. 性能優化：選擇業務低峰期遷移，限制帶寬使用（如DistCp的-bandwidth參數），減少對線上業務影響；
5. 結果驗證：遷移后通過hdfs dfs -count核對文件數量，hdfs fsck檢查數據完整性，必要時抽樣比對源與目標數據內容。