centos kafka如何進行集群管理

在CentOS上管理Kafka集群涉及多個步驟，包括安裝和配置Kafka、Zookeeper，以及啟動和驗證集群。以下是詳細的步驟：

環境準備

1. 安裝Java：Kafka需要Java運行環境，首先確保系統上安裝了Java。

   sudo yum install java-1.8.0-openjdk-devel
   java -version
   

2. 下載并解壓Kafka：從Apache Kafka官網下載最新版本的Kafka，并解壓到指定目錄。

   wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
   tar -xzf kafka_2.13-3.2.0.tgz
   cd kafka_2.13-3.2.0
   

配置Zookeeper

1. 啟動Zookeeper：進入Zookeeper目錄并創建數據目錄。

   cd zookeeper-3.7.0
   mkdir -p data log
   vi conf/zoo.cfg
   

   編輯zoo.cfg文件，確保以下配置正確：

   dataDir /path/to/zookeeper/data
   clientPort 2181
   server.1 localhost:2888:3888
   server.2 localhost:2889:3888
   server.3 localhost:2890:3888
   

2. 啟動Zookeeper服務：

   bin/zkServer.sh start
   

配置Kafka

1. 配置多個Broker：在每個Broker的server.properties文件中進行以下配置：

   broker.id 1
   listeners PLAINTEXT://:9092
   log.dirs /tmp/kafka-logs-1
   zookeeper.connect localhost:2181
   

   broker.id 2
   listeners PLAINTEXT://:9093
   log.dirs /tmp/kafka-logs-2
   zookeeper.connect localhost:2181
   

   broker.id 3
   listeners PLAINTEXT://:9094
   log.dirs /tmp/kafka-logs-3
   zookeeper.connect localhost:2181
   

2. 啟動Kafka Broker：在每個Broker的目錄下啟動Kafka服務器：

   bin/kafka-server-start.sh config/server.properties
   

驗證集群狀態

1. 查看集群狀態：使用Kafka自帶的工具驗證集群狀態。

   bin/kafka-topics.sh --list --bootstrap-server broker1:9092
   

2. 創建測試主題：

   bin/kafka-topics.sh --create --topic test-topic --bootstrap-server broker1:9092 --replication-factor 3 --partitions 3
   

3. 生產者和消費者測試：
   • 生產者：

     bin/kafka-console-producer.sh --topic test-topic --bootstrap-server broker1:9092
     

   • 消費者：

     bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server broker1:9092