Linux Kafka集群怎樣搭建

搭建Linux Kafka集群的步驟如下：

環境準備

1. 安裝Java：

   • 對于Ubuntu/Debian系統：

     sudo apt update
     sudo apt install openjdk-8-jdk
     

   • 對于CentOS/RedHat系統：

     sudo yum install java-1.8.0-openjdk-devel
     

   • 驗證安裝：

     java -version
     

2. 安裝Zookeeper：

   • 下載Zookeeper安裝包并解壓。
   • 編輯Zookeeper配置文件zoo.cfg，配置Zookeeper節點信息。
   • 在每個Zookeeper節點上啟動Zookeeper服務。

3. 安裝Kafka：

   • 從Apache Kafka官網下載最新版本的Kafka。
   • 解壓Kafka安裝包到指定目錄。

配置Kafka集群

1. 配置Zookeeper：

   • 編輯zoo.cfg文件，設置tickTime、initLimit、syncLimit、dataDir和clientPort等參數。
   • 在每個Zookeeper節點上啟動Zookeeper服務。

2. 配置Kafka：

   • 編輯Kafka的server.properties文件，配置每個Kafka節點的信息。

     broker.id=1  # 每個節點的broker.id必須是唯一的
     listeners=PLAINTEXT://your_server_ip:9092
     log.dirs=/var/lib/kafka-logs
     zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
     

   • 在每個Kafka節點上啟動Kafka服務。

驗證集群狀態

1. 使用以下命令檢查Kafka集群狀態：

   jps
   

   你應該能看到Kafka相關的進程，如QuorumPeerMain和Kafka。

2. 創建Topic：

   ./bin/kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181,zk3:2181 --replication-factor 3 --partitions 3 --topic test
   

3. 發送和消費消息：

   • 發送消息：

     ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
     

   • 消費消息：

     ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
     

請注意，以上步驟以Kafka 3.5.2版本為例，具體版本可能會有所不同。在安裝前，請確保已經安裝并配置好Zookeeper，因為Kafka需要Zookeeper來管理集群元數據。