ubuntu上kafka遷移步驟是什么

Ubuntu上Kafka遷移步驟（以自建集群遷移為例）

一、遷移前準備

1. 環境檢查：確認源Kafka集群（Ubuntu上的現有集群）運行正常，目標Kafka集群（Ubuntu上的新集群）已完成基礎部署（安裝Java環境、Kafka軟件，配置server.properties等核心參數，如broker.id、listeners、zookeeper.connect）。
2. 版本兼容性驗證：檢查源端與目標端Kafka版本是否兼容（如Kafka 3.x與2.x可能存在協議差異），避免因版本不匹配導致遷移失敗。
3. 網絡連通性保障：確保源集群與目標集群的Ubuntu服務器之間網絡穩定，開放Kafka所需的端口（默認9092、ZooKeeper默認2181），避免遷移過程中中斷。
4. 數據備份：備份源集群的關鍵數據（如/var/lib/kafka/data目錄下的消息數據）、配置文件（server.properties、zookeeper.properties）及Topic元數據（可通過kafka-topics.sh --describe導出），防止遷移失敗無法恢復。

二、元數據遷移（可選但推薦）

若需遷移Topic配置（分區數、副本數、ACL權限等），可使用Kafka自帶的MirrorMaker 2工具（支持元數據同步）。

1. 配置MirrorMaker：
   • 編輯consumer.properties（源集群配置）：設置bootstrap.servers為源集群Broker地址（如source-broker1:9092,source-broker2:9092），group.id為遷移組ID（如migration-group），auto.offset.reset為earliest（從最早偏移量讀?。?。
   • 編輯producer.properties（目標集群配置）：設置bootstrap.servers為目標集群Broker地址（如target-broker1:9092,target-broker2:9092）。
2. 執行元數據同步：運行命令./kafka-mirror-maker.sh --consumer.config config/consumer.properties --producer.config config/producer.properties --whitelist=".*"（--whitelist指定需遷移的Topic（支持正則，如topic1,topic2或.*表示全部）），同步完成后，目標集群將擁有與源集群一致的Topic結構。

三、數據遷移

方案1：停機遷移（簡單但影響業務）

1. 停止生產流：通知業務方暫停向源集群發送消息（如修改生產者配置，指向目標集群前，停止生產者應用）。
2. 消費舊集群剩余數據：使用Kafka自帶的kafka-consumer-groups.sh工具監控消費進度，確保舊集群中所有Topic的消息被消費完畢（如./kafka-consumer-groups.sh --bootstrap-server source-broker:9092 --describe --group my-group，查看CURRENT-OFFSET與LOG-END-OFFSET是否一致）。
3. 切換消費者到新集群：修改消費者配置（bootstrap.servers指向目標集群地址），重啟消費者應用，開始從目標集群消費消息。
4. 啟動生產流：修改生產者配置（bootstrap.servers指向目標集群地址），重啟生產者應用，開始向目標集群發送消息。

方案2：雙寫遷移（業務影響?。?/h4>

1. 配置雙寫：修改線上生產者代碼，在原有寫源集群的邏輯基礎上，增加寫目標集群的代碼（如使用Kafka Producer API同時向兩個集群發送消息），確保數據同步。
2. 啟動雙寫：上線修改后的生產者應用，此時源集群與目標集群均會收到相同數據。
3. 切換消費者：待目標集群數據積累到足夠量（如與源集群數據量偏差小于1%），修改消費者配置（bootstrap.servers指向目標集群地址），重啟消費者應用，開始從目標集群消費消息。
4. 停止源集群生產流：確認消費者已完全切換至目標集群后，停止生產者向源集群發送消息，后續可逐步下線源集群。

四、數據校驗

1. 元數據校驗：使用kafka-topics.sh工具對比源集群與目標集群的Topic配置（分區數、副本數、ACL權限等），例如：
   • 源集群：./kafka-topics.sh --describe --zookeeper source-zk:2181 --topic my-topic
   • 目標集群：./kafka-topics.sh --describe --bootstrap-server target-broker:9092 --topic my-topic
     確保兩者輸出一致。
2. 數據內容校驗：使用kafka-console-consumer.sh工具抽樣檢查源集群與目標集群的消息內容是否一致（如從兩個集群消費同一Topic的相同偏移量消息，對比內容），或使用第三方工具（如Confluent Control Center）進行自動化校驗。
3. 消費進度校驗：確認目標集群的消費組偏移量與源集群一致（如./kafka-consumer-groups.sh --bootstrap-server target-broker:9092 --describe --group my-group，查看CURRENT-OFFSET是否等于源集群的LOG-END-OFFSET）。

五、切換與清理

1. 切換生產與消費流量：完成數據校驗后，將所有生產者與消費者的bootstrap.servers配置永久修改為目標集群地址，確保業務完全運行在新集群上。
2. 監控集群狀態：遷移后持續監控目標集群的性能指標（如CPU、內存、磁盤IO、網絡帶寬）及業務指標（如消息延遲、吞吐量），確保集群穩定運行。
3. 清理舊集群資源：確認業務運行正常后，可清理源集群的Ubuntu服務器上的Kafka數據目錄（/var/lib/kafka/data）、日志目錄（/var/log/kafka）及備份文件，釋放存儲空間。