Kafka 在 Ubuntu 上如何配置

在 Ubuntu 上配置 Apache Kafka 需要幾個步驟，包括安裝 Java（Kafka 的依賴項）、下載 Kafka、配置 Kafka 服務器和客戶端。以下是一個基本的指南：

步驟 1: 安裝 Java

Kafka 需要 Java 運行環境。你可以通過以下命令安裝 OpenJDK：

sudo apt update
sudo apt install openjdk-11-jdk

安裝完成后，你可以通過運行 java -version 來驗證 Java 是否安裝成功。

步驟 2: 下載 Kafka

你可以從 Kafka 官方網站下載最新版本的 Kafka。使用 wget 命令下載并解壓：

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

請確保替換 URL 中的版本號為你想要下載的 Kafka 版本。

步驟 3: 啟動 Zookeeper 和 Kafka 服務器

Kafka 使用 Zookeeper 來管理集群和元數據。首先，你需要啟動 Zookeeper：

# 啟動 Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

Zookeeper 默認會在端口 2181 上運行。你可以通過運行 bin/zkServer.sh status 來檢查 Zookeeper 的狀態。

接下來，啟動 Kafka 服務器：

# 啟動 Kafka 服務器
bin/kafka-server-start.sh config/server.properties

Kafka 默認會在端口 9092 上運行。你可以通過運行 bin/kafka-topics.sh --list --bootstrap-server localhost:9092 來檢查 Kafka 是否正在運行。

步驟 4: 創建主題

你可以使用 Kafka 提供的命令行工具來創建一個新的主題：

# 創建一個名為 "test" 的主題，只有一個分區，復制因子為 1
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

步驟 5: 配置 Kafka 客戶端

你可以在 config 目錄下的 server.properties 文件中配置 Kafka 服務器的設置。對于客戶端，你可以在 config 目錄下創建一個新的文件，例如 client.properties，并進行相應的配置。

步驟 6: 生產者和消費者

Kafka 提供了生產者和消費者命令行工具，你可以使用它們來發送和接收消息。

• 生產者示例：

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

在提示符下輸入消息，按 Enter 發送。

• 消費者示例：

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

這將顯示主題 “test” 中的所有消息。

注意事項

• 確保防火墻允許 Kafka 和 Zookeeper 使用的端口。
• 在生產環境中，你可能需要配置多個 broker 來創建一個 Kafka 集群，并確保高可用性和容錯性。
• 你可能還需要配置安全設置，如 SSL/TLS 和 SASL，以保護 Kafka 集群。

以上步驟提供了一個基本的 Kafka 配置指南。根據你的具體需求，可能需要進行更多的配置和優化。