kafka集群在centos上的搭建方法

在CentOS上搭建Kafka集群涉及多個步驟，包括安裝Java、配置Zookeeper、配置Kafka服務器以及啟動和驗證集群。以下是一個詳細的指南：

1. 安裝Java

Kafka需要Java運行環境，首先確保你的系統上已經安裝了Java。

sudo yum install java-1.8.0-openjdk-devel
java -version

2. 安裝Zookeeper

Kafka依賴于Zookeeper進行集群管理和協調。

sudo yum install zookeeper
sudo systemctl start zookeeper
sudo systemctl enable zookeeper

3. 下載并解壓Kafka

從Apache Kafka官方網站下載Kafka的安裝包，并進行相應的配置。

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

4. 配置Zookeeper

進入Zookeeper目錄并創建數據目錄。

mkdir -p data log

編輯conf/zoo.cfg文件，配置Zookeeper的地址和端口。

dataDir=/var/lib/zookeeper
clientPort=2181
server.1 localhost:2888:3888

啟動Zookeeper服務。

bin/zookeeper-server-start.sh config/zoo.cfg

5. 配置Kafka

進入Kafka目錄并進行基本配置。

編輯config/server.properties文件，設置以下配置項：

• broker.id: 節點唯一標識（例如，broker1填1，node2填2，node3填3）。
• listeners: 設置Kafka監聽的地址和端口（例如，PLAINTEXT://kafka-node1:9092）。
• advertised.listeners: 設置對外暴露的地址和端口（例如，PLAINTEXT://kafka-node1:9092）。
• zookeeper.connect: 設置Zookeeper的連接地址（例如，localhost:2181）。

6. 啟動Kafka服務

使用以下命令啟動Kafka服務器。

bin/kafka-server-start.sh config/server.properties

7. 驗證集群狀態

使用Kafka自帶的工具驗證集群狀態。

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

你應該能看到所有Broker的列表。

8. 創建Topic

創建一個Topic以便進行消息發布和訂閱。

bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3

9. 生產者和消費者測試

啟動生產者和消費者來測試集群。

生產者

bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

消費者

bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

在生產者端輸入消息，消費者端應該能看到這些消息。

通過以上步驟，你應該能夠在CentOS上成功搭建一個Kafka集群。根據實際需求，你可能需要進一步調整配置和優化性能。