HBase數據遷移至CentOS步驟

一、遷移前準備工作

1. 環境檢查與配置
   確保目標CentOS系統已安裝并配置好Hadoop（HDFS）、Zookeeper，且版本與源HBase集群兼容（建議版本一致）。修改目標集群的hbase-site.xml配置文件，確認hbase.rootdir指向正確的HDFS路徑（如hdfs://target-namenode:8020/hbase），并調整hbase.master、hbase.regionserver等參數以適配目標環境。
2. 備份源數據
   遷移前必須對源HBase集群進行完整備份（如使用tar -czvf hbase-backup.tar.gz /hbase壓縮數據目錄），避免遷移過程中數據丟失。
3. 權限與目錄準備
   確保遷移用戶（如hbase用戶）對源、目標集群的HDFS目錄（如/hbase）有讀寫權限。若使用非hbase用戶，需提前用hdfs dfs -chown -R hbase:hbase /hbase/修改權限。

二、全量數據遷移（核心步驟）

方案1：基于快照遷移（推薦，適用于大多數場景）

1. 源集群創建快照
   登錄源HBase shell，為需要遷移的表創建快照（如snapshot 'student', 'student_snapshot'），快照會記錄表的元數據和數據狀態。
2. 導出快照至HDFS
   使用ExportSnapshot工具將快照導出到目標集群的HDFS目錄（如hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot student_snapshot -copy-from hdfs://source-namenode:8020/hbase -copy-to hdfs://target-namenode:8020/hbase -mappers 30 -bandwidth 8192）。參數說明：-mappers控制并發任務數（根據集群資源調整，如30），-bandwidth限制傳輸帶寬（如8MB/s，避免占用過多網絡資源）。
3. 目標集群恢復數據
   在目標HBase shell中，通過clone_snapshot命令恢復表結構和數據（如clone_snapshot 'student_snapshot', 'student'）。若原表屬于自定義namespace，需先創建namespace（create_namespace 'namespace_name'）。

方案2：使用DistCp遷移（適用于大規模數據）

1. 停止源集群寫入
   若表有實時寫入，先暫停業務寫入，避免數據不一致。
2. Flush表數據
   登錄源HBase shell，執行flush 'student'將內存中的數據刷寫到HDFS，確保數據一致性。
3. 執行DistCp遷移
   使用Hadoop DistCp工具將源集群HBase數據復制到目標集群（如hadoop distcp hdfs://source-namenode:8020/hbase hdfs://target-namenode:8020/hbase_new）。需確保源、目標集群的HDFS路徑正確。
4. 目標集群導入數據
   在目標HBase shell中，使用Import工具導入數據（如import 'student', 'hdfs://target-namenode:8020/hbase_new/student'）。

三、增量數據同步 配置HBase Replication功能，同步源集群與目標集群之間的增量數據（如實時新增的行）：

1. 源集群添加Peer
   在源HBase shell中，添加目標集群的Peer關系（如add_peer 'peer1', 'target-cluster:2181:/hbase'，其中target-cluster為目標集群的ZooKeeper quorum）。
2. 設置列族復制屬性
   為需要同步的表的列族添加REPLICATION_SCOPE => '1'屬性（如alter 'student', {NAME => 'cf', REPLICATION_SCOPE => '1'}），確保列族的增量數據寫入WAL日志并同步到目標集群。
3. 監控同步狀態
   通過目標集群的HBase Master Web界面或hbase shell（hbase replication status）監控增量數據同步進度，確保無延遲或錯誤。

四、遷移后驗證與優化

1. 數據一致性檢查
   使用HBase自帶的hbck工具檢查目標集群的數據完整性（如hbase hbck -j /path/to/hbase.jar），修復可能存在的region分配問題或數據缺失。
2. 業務功能驗證
   登錄目標HBase shell，執行list查看所有表，scan 'student'查看表數據，確認數據完整性和正確性。同時，測試業務應用是否能正常連接目標集群并訪問數據。
3. 性能調優
   根據目標集群的硬件配置（如CPU、內存），調整HBase參數以優化性能：
   • 增加RegionServer的handler.count（并發處理數，默認30，可根據需求調整為100+）；
   • 調整hbase.regionserver.handler.count（RegionServer并發線程數）、hbase.hregion.memstore.flush.size（MemStore刷寫閾值，默認128MB，可根據數據量調整為256MB+）；
   • 優化hbase.hstore.compaction.min（最小Compaction文件數）、hbase.hstore.compaction.max（最大Compaction文件數）等參數，減少Compaction對性能的影響。