Kafka在Linux上如何擴容

在Linux上對Kafka進行擴容通常涉及以下幾個步驟：

增加Broker數量

1. 準備新Broker：

• 安裝Kafka到新服務器。
• 配置好相關的配置文件（如server.properties）。

2. 更新ZooKeeper配置：

• 確保所有Broker的ZooKeeper地址一致。

3. 重新分配分區：

• 使用kafka-reassign-partitions.sh腳本重新分配現有的分區副本到新的Broker上。

  ./bin/kafka-reassign-partitions.sh --zookeeper zkhost:port \
  --topics-to-move-json-file kafka/config/topic.json \
  --broker-list "broker1:9092,broker2:9092,..." \
  --generate
  

  其中broker1:9092,broker2:9092,...是新的Broker列表。

4. 執行分區再平衡：

./bin/kafka-reassign-partitions.sh --zookeeper zkhost:port \
--reassignment-json-file config/reassignment.json \
--execute

執行后再通過以下命令驗證：

./bin/kafka-reassign-partitions.sh --zookeeper zkhost:port \
--reassignment-json-file config/reassignment.json \
--verify

擴展磁盤空間

1. 查看當前磁盤使用情況：

df -h

2. 擴展物理卷（PV）： 使用fdisk或parted等工具對磁盤進行分區，創建新的物理卷并添加到現有的卷組（VG）中。

fdisk /dev/vdc
# 按照提示操作，刪除舊分區并創建新分區

3. 擴展邏輯卷（LV）： 使用lvextend命令擴展邏輯卷的大小。

lvextend -L +20G /dev/mapper/rhel-root

4. 調整文件系統大小： 對邏輯卷調整文件系統大小以使用新增的空間。

xfs_growfs /dev/mapper/rhel-root

注意事項

• 數據一致性：在執行擴容操作時，可以將acks設置為-1，min.insync.replicas設置為1，以保證數據的一致性和可用性。
• 停機與否：上述方法大多支持不停機擴容，但具體操作可能會因環境和配置不同而有所差異，建議先在測試環境中驗證。

在進行任何操作之前，請確保備份所有重要數據，并在非生產環境中充分測試。