如何在Ubuntu上搭建Kafka

在Ubuntu上搭建Apache Kafka集群涉及多個步驟，包括安裝Java、下載Kafka、配置Kafka以及啟動Kafka服務。以下是一個基本的指南：

1. 安裝Java

Kafka需要Java運行環境，因此首先需要安裝Java。

sudo apt update
sudo apt install openjdk-11-jdk

驗證Java安裝：

java -version

2. 下載Kafka

從Apache Kafka官方網站下載最新版本的Kafka。

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

3. 配置Kafka

Kafka的配置文件位于config目錄下。主要配置文件包括server.properties和zookeeper.properties。

配置Zookeeper

編輯config/zookeeper.properties文件：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0

創建數據目錄并啟動Zookeeper：

sudo mkdir -p /var/lib/zookeeper
sudo chown -R $(whoami):$(whoami) /var/lib/zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

配置Kafka Broker

編輯config/server.properties文件：

broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/var/lib/kafka
zookeeper.connect=localhost:2181

4. 啟動Kafka Broker

在新的終端窗口中啟動Kafka Broker：

bin/kafka-server-start.sh config/server.properties

5. 創建Topic

創建一個Topic來測試Kafka：

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

6. 驗證Topic創建

列出所有Topic以驗證創建成功：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

7. 生產者和消費者測試

啟動一個生產者來發送消息：

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

在另一個終端窗口中啟動一個消費者來接收消息：

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

在生產者終端輸入消息并按回車，消費者終端應該會顯示這些消息。

8. 停止Kafka服務

停止Kafka Broker和Zookeeper：

# 停止Kafka Broker
bin/kafka-server-stop.sh

# 停止Zookeeper
bin/zookeeper-server-stop.sh

注意事項

• 確保防火墻允許9092端口的流量。
• 在生產環境中，建議使用多個Broker和更高的副本因子來提高可靠性和性能。
• 配置文件中的路徑和端口可以根據實際需求進行調整。

通過以上步驟，你可以在Ubuntu上成功搭建一個基本的Kafka集群。