Zookeeper與Kafka集成方式

Zookeeper與Kafka的集成通常涉及以下幾個步驟：

1. 環境準備

• 準備3臺機器，分別為192.168.211.149、192.168.211.137、192.168.211.132，并安裝JDK 1.8環境。
• 下載Zookeeper和Kafka安裝包，例如zookeeper-3.4.5.tar.gz和kafka_2.13-3.1.0.tgz。

2. 搭建Zookeeper集群

• 上傳軟件包至指定目錄并解壓。
• 修改zoo.cfg配置文件，包括tickTime、initLimit、syncLimit、dataDir、dataLogDir、clientPort等參數，以及添加server.X條目，其中X是機器的ID。
• 在各機器上創建myid文件，內容分別為1、2、3，對應各自的機器ID。
• 啟動Zookeeper集群，并在每臺機器上使用jps命令檢查進程，確保Zookeeper集群啟動成功。

3. 搭建Kafka集群

• 上傳軟件包至指定目錄并解壓。
• 修改server.properties配置文件，包括broker.id、listeners、zookeeper.connect、num.partitions、log.retention.hours等參數。
• 在各機器上創建對應的目錄，如/opt/kafka_2.13-3.1.0/logs等。
• 啟動Kafka集群，使用命令nohup /opt/kafka_2.13-3.1.0/bin/kafka-server-start.sh /opt/kafka_2.13-3.1.0/config/server.properties &。
• 創建Kafka主題，例如使用命令./bin/kafka-topics.sh --bootstrap-server 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --create --topic wozaijia --partitions 2 --replication-factor 2。

4. 驗證集成

• 生產消息，使用命令./bin/kafka-console-producer.sh --broker-list 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --topic wozaijia。
• 消費消息，使用命令./bin/kafka-console-consumer.sh --bootstrap-server 192.168.211.149:9092,192.168.211.137:9092,192.168.211.132:9092 --topic wozaijia --from-beginning。

以上步驟展示了如何在Linux環境下，通過修改配置文件和啟動服務，將Zookeeper與Kafka集成在一起，并創建和消費主題。注意，實際操作中可能需要根據具體環境進行調整。