Kafka集群在Debian上的搭建步驟

在Debian上搭建Kafka集群需要以下步驟：

準備工作

1. 安裝JDK：

• Kafka 3.x不再支持JDK 8，建議安裝JDK 11或JDK 17。
• 使用以下命令安裝JDK 11：

wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz
tar -xf openjdk-11.0.2_linux-x64_bin.tar.gz
sudo mkdir /usr/lib/jvm
sudo mv jdk-11.0.2 /usr/lib/jvm/

• 配置環境變量：

sudo vim /etc/profile

在底部追加如下內容：

export JAVA_HOME=/usr/lib/jvm/jdk-11.0.2
export PATH=$PATH:$JAVA_HOME/bin

• 使配置生效：

source /etc/profile

2. 創建Kafka持久化日志數據目錄：

sudo mkdir -p /data/kafka
sudo chown -R $(whoami):$(whoami) /data/kafka

安裝Kafka

1. 下載Kafka：

cd /tools
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /usr/local/kafka

2. 修改Kafka配置文件：

• 編輯每個節點的server.properties文件，配置如下參數：

# data-vm1節點
node.id=1
process.roles=broker,controller
listeners=plaintext://data-vm1:9092,controller://data-vm1:9093
advertised.listeners=plaintext://data-vm1:9092
controller.quorum.voters=data-vm1:9093,data-vm2:9093,data-vm3:9093
log.dirs=/data/kafka
num.partitions=3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=data-vm1,data-vm2,data-vm3

服務器增加hosts

• 編輯/etc/hosts文件，添加各個節點的IP地址和主機名：

192.168.112.10 data-vm1
192.168.112.130 data-vm2
192.168.112.129 data-vm3

啟動集群

1. 啟動Zookeeper（如果使用 Kraft 模式，可以跳過此步驟）：

# 啟動Zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh config/zookeeper.properties

2. 啟動Kafka Broker：

• 按照節點順序啟動每個Kafka Broker：

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

測試Kafka集群

1. 創建Topic：

/usr/local/kafka/bin/kafka-topics.sh --create --topic test-topic --bootstrap-server data-vm1:9092 --replication-factor 3 --partitions 3

2. 生產消息：

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list data-vm1:9092 --topic test-topic

3. 消費消息：

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server data-vm1:9092 --topic test-topic --from-beginning

以上步驟應該可以幫助你在Debian上成功搭建一個Kafka集群。如果在搭建過程中遇到問題，請檢查配置文件和日志文件以獲取更多信息。