怎樣在Debian上部署Kafka集群

在Debian上部署Kafka集群需要一些步驟，以下是詳細的指南：

準備工作

1. 硬件需求：

• 至少三臺服務器用于構建一個基本的高可用性Kafka集群。
• 建議使用多核處理器、大內存容量和快速的存儲設備。

2. 軟件組件的選型與版本選擇：

• 選擇最新的穩定版本的Apache Kafka。
• 安裝JDK 8/11/16，推薦使用官方推薦的版本。

安裝步驟

1. 安裝JDK：

sudo apt update
sudo apt install openjdk-8-jdk

驗證安裝：

java -version

2. 下載并解壓Kafka：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -zvxf kafka_2.12-3.5.2.tgz
cd kafka_2.12-3.5.2

3. 配置環境變量：

在/etc/profile文件最下方添加如下兩行命令：

export KAFKA_HOME=/path/to/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使配置生效：

source /etc/profile

4. 啟動Zookeeper：

在任意一臺服務器上啟動Zookeeper：

./zookeeper-server-start.sh ../config/zookeeper.properties

5. 配置Kafka Broker：

在每臺服務器上修改server.properties文件：

broker.id=0
zookeeper.connect=192.168.11.59:2181

啟動Kafka Broker：

./kafka-server-start.sh ../config/server.properties

6. 驗證安裝：

使用以下命令查看Kafka是否啟動成功：

lsof -i:9092

配置Kafka集群

1. 修改broker.id和listeners：

在每臺服務器上修改server.properties文件，確保每臺服務器的broker.id和listeners配置不同。

2. 配置Zookeeper連接：

確保所有服務器的zookeeper.connect配置正確，指向Zookeeper的地址。

啟動集群

1. 依次啟動所有節點：

按照服務器的主機名順序依次啟動Zookeeper和Kafka Broker。

2. 驗證集群狀態：

使用以下命令查看Kafka集群狀態：

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --describe

常用命令

• 創建主題：

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --create --topic my-topic --partitions 3 --replication-factor 2

• 查看主題列表：

./kafka-topics.sh --zookeeper 192.168.11.59:2181 --list

• 消費消息：

./kafka-console-consumer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic --from-beginning

• 生產消息：

./kafka-console-producer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic