怎樣在Linux上配置Kafka的高可用性

在Linux上配置Kafka高可用性需部署Kafka集群和Zookeeper集群，核心步驟如下：

1. 環境準備

   • 安裝Java（推薦OpenJDK 8+）：sudo apt install openjdk-8-jdk（Ubuntu）或 sudo yum install java-1.8.0-openjdk（CentOS）。
   • 確保服務器間網絡互通，關閉防火墻或開放必要端口（9092、2181等）。

2. 部署Zookeeper集群（Kafka依賴其協調節點）

   • 下載并解壓Zookeeper：wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz，解壓后進入配置目錄。
   • 編輯zoo.cfg：設置dataDir（數據目錄）、clientPort（客戶端端口，默認2181），并配置集群節點（server.1=node1:2888:3888等，需為每個節點指定唯一ID和端口）。
   • 在每個節點的dataDir下創建myid文件，寫入節點ID（如節點1寫1，節點2寫2）。
   • 啟動Zookeeper：bin/zookeeper-server-start.sh config/zoo.cfg。

3. 部署Kafka集群

   • 下載并解壓Kafka：wget https://downloads.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz，解壓后進入配置目錄。
   • 編輯server.properties：
     • broker.id：為每個節點設置唯一ID（與Zookeeper的myid對應）。
     • zookeeper.connect：指向所有Zookeeper節點（如zoo1:2181,zoo2:2181,zoo3:2181）。
     • 高可用關鍵參數：default.replication.factor=3（副本數，建議≥3）、min.insync.replicas=2（最小同步副本數）。
     • 監聽地址：listeners=PLAINTEXT://<節點IP>:9092，advertised.listeners設置為外部可訪問地址。
   • 創建日志目錄：mkdir -p /var/lib/kafka-logs，并授權用戶（如kafka:kafka）。
   • 啟動Kafka：bin/kafka-server-start.sh config/server.properties。

4. 驗證高可用性

   • 創建Topic時指定副本數：bin/kafka-topics.sh --create --topic test --replication-factor 3 --partitions 3 --bootstrap-server <任意節點IP>:9092。
   • 測試故障轉移：停止某個Kafka節點，觀察Topic分區是否自動重新分配Leader，生產者和消費者是否正常工作。

5. 監控與維護

   • 使用Kafka自帶工具監控集群狀態：kafka-topics.sh --describe查看Topic分布，kafka-replica-verification.sh監控副本同步延遲。
   • 配置第三方監控工具（如Prometheus+Grafana）監控JMX指標（如ISR收縮、請求延遲等）。

關鍵注意事項：

• 建議使用奇數個Zookeeper節點（如3節點）避免腦裂問題。
• 生產環境中需配置SSL/TLS加密通信，并定期備份Zookeeper和Kafka數據。
• 若需更高可用性，可啟用Kafka 3.5+的KRaft模式（無需Zookeeper，通過Raft協議實現集群管理）。

參考來源：