Debian Kafka 集群搭建方法

在Debian系統上搭建Kafka集群需要以下幾個步驟：

1. 環境準備

• 安裝JDK：

  sudo apt update
  sudo apt install openjdk-8-jdk
  

  驗證安裝：

  java -version
  

• 下載并解壓Kafka： 從Apache Kafka官網下載對應版本的Kafka安裝包。例如，下載Kafka 3.5.2版本：

  wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
  tar -xzf kafka_2.12-3.5.2.tgz
  cd kafka_2.12-3.5.2
  

2. 安裝Zookeeper

• 下載并解壓Zookeeper：

  wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz
  tar -xzf zookeeper-3.6.1.tar.gz
  cd zookeeper-3.6.1
  

• 配置Zookeeper集群： 復制zoo_sample.cfg為zoo.cfg：

  cp conf/zoo_sample.cfg conf/zoo.cfg
  

  編輯zoo.cfg文件，配置集群模式：

  server.1=zookeeper1:2888:3888
  server.2=zookeeper2:2888:3888
  server.3=zookeeper3:2888:3888
  

• 啟動Zookeeper集群：

  nohup ./bin/zookeeper-server-start.sh config/zoo.cfg >/dev/null 2>&1 &
  

3. 配置Kafka集群

• 復制Kafka配置文件： 在每臺Kafka服務器上，復制server.properties文件：

  cp config/server.properties config/server.properties.orig
  

• 修改Kafka配置文件： 編輯每臺Kafka服務器的server.properties文件，配置如下：

  broker.id=1  # 每臺機器的broker ID不同
  listeners=PLAINTEXT://:9092
  advertised.listeners=PLAINTEXT://your_server_ip:9092
  zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
  

• 啟動Kafka集群：

  nohup ./bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
  

4. 驗證集群

• 檢查Kafka集群狀態： 使用Kafka提供的命令行工具檢查集群狀態：

  kafka-topics.sh --describe --bootstrap-server your_server_ip:9092
  

5. 注意事項

• 確保所有服務器的防火墻允許Kafka和Zookeeper的端口通信。
• 在生產環境中，建議使用更高版本的Kafka和Zookeeper，并參考官方文檔進行配置。

以上步驟提供了一個基本的Debian Kafka集群搭建流程，具體配置可能需要根據實際情況進行調整。