Ubuntu Kafka配置參數詳解

在Ubuntu上配置Kafka涉及多個步驟，包括安裝Java和Zookeeper、配置Kafka、啟動服務以及驗證配置。以下是詳細的步驟和配置文件的詳解：

安裝Java和Zookeeper

1. 安裝Java：

   sudo apt update
   sudo apt install openjdk-8-jdk
   java -version
   

2. 安裝Zookeeper：

   wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
   tar xvf zookeeper-3.4.6.tar.gz
   sudo mv zookeeper-3.4.6 /usr/local/zookeeper
   

3. 配置并啟動Zookeeper： 編輯 /usr/local/zookeeper/conf/zoo.cfg 文件：

   sudo nano /usr/local/zookeeper/conf/zoo.cfg
   

   添加或修改以下行：

   dataDir /var/lib/zookeeper
   clientPort 2181
   

   啟動Zookeeper服務：

   sudo /usr/local/zookeeper/bin/zkServer.sh start
   

配置Kafka

1. 下載并解壓Kafka：

   wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
   tar -xzvf kafka_2.12-3.5.2.tgz
   sudo mv kafka_2.12-3.5.2 /usr/local/kafka
   

2. 編輯Kafka的配置文件 /usr/local/kafka/config/server.properties：

   • broker.id: Kafka broker的唯一標識符。
   • listeners: Kafka服務器監聽的地址和端口。
   • advertised.listeners: 對外暴露的地址和端口。
   • log.dirs: Kafka日志存儲的目錄。
   • zookeeper.connect: Zookeeper的連接地址。

   示例配置：

   broker.id 0
   listeners PLAINTEXT://your_server_ip:9092
   advertised.listeners PLAINTEXT://your_server_ip:9092
   log.dirs /tmp/kafka-logs
   zookeeper.connect localhost:2181
   

啟動Kafka服務

在配置文件目錄中啟動Kafka服務：

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

驗證配置

1. 創建一個Kafka主題來驗證配置是否生效：

   sudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
   

2. 啟動Kafka生產者命令示例：

   sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
   

3. 啟動Kafka消費者命令示例：

   sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
   

以上步驟和配置文件詳解基于Ubuntu系統下的Kafka安裝，具體路徑和文件名可能會因不同的Kafka版本和安裝方式有所差異。建議參考Kafka官方文檔以獲取最準確的配置信息。