Debian Kafka集群搭建步驟解析

搭建Debian上的Kafka集群涉及多個步驟，包括環境準備、JDK安裝、Zookeeper集群搭建、Kafka集群安裝和配置等。以下是詳細的步驟解析：

環境準備

1. 安裝JDK：

   在Debian上安裝JDK，可以使用以下命令：

   sudo apt update
   sudo apt install openjdk-8-jdk
   

   安裝完成后，使用以下命令驗證JDK安裝：

   java -version
   

2. 下載并解壓Kafka：

   從Apache Kafka官網下載對應版本的Kafka安裝包，例如Kafka 3.5.2。使用wget命令下載并解壓：

   wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
   tar -xzf kafka_2.12-3.5.2.tgz
   

Zookeeper集群搭建

1. 下載并解壓Zookeeper：

   wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz
   tar -xzf zookeeper-3.6.1.tar.gz
   

2. 修改Zookeeper配置文件：

   進入Zookeeper的配置文件目錄，復制zoo_sample.cfg為zoo.cfg，并修改以下配置：

   dataDir=/opt/zookeeper/data
   dataLogDir=/opt/zookeeper/log
   clientPort=2181
   server.1=zookeeper1:2888:3888
   server.2=zookeeper2:2888:3888
   server.3=zookeeper3:2888:3888
   

3. 啟動Zookeeper集群：

   nohup ./bin/zookeeper-server-start.sh ../config/zoo.cfg >/dev/null 2>&1 &
   

Kafka集群安裝和配置

1. 修改Kafka配置文件：

   在每臺Kafka服務器上，編輯config/server.properties文件，確保以下配置正確：

   broker.id=1  # 每臺機器的broker ID需唯一
   listeners=PLAINTEXT://your_server_ip:9093
   log.dir=/usr/local/data/kafka-logs
   zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
   

2. 啟動Kafka集群：

   在每臺Kafka服務器上，使用以下命令啟動Kafka服務：

   bin/kafka-server-start.sh config/server.properties
   

驗證Kafka集群

1. 創建和測試Topic：

   創建一個新的Topic，并測試生產者和消費者是否正常工作：

   bin/kafka-topics.sh --create --zookeeper zookeeper1:2181 --replication-factor 3 --partitions 3 --topic test-topic
   bin/kafka-console-producer.sh --broker-list your_server_ip:9093 --topic test-topic
   bin/kafka-console-consumer.sh --bootstrap-server your_server_ip:9093 --topic test-topic --from-beginning
   

通過以上步驟，您可以在Debian上成功搭建一個Kafka集群。在搭建過程中，請確保所有配置項正確無誤，并關注每個步驟的輸出信息，以便及時發現問題并進行排查。