Kafka集群在Debian上如何搭建

在Debian上搭建Kafka集群需要以下步驟：

前期準備

1. 準備至少三臺虛擬機：用于部署Kafka集群。確保虛擬機上配置有SSH服務，以便進行免密登錄。
2. 安裝JDK：Kafka運行在JVM上，需要安裝JDK。
3. 安裝ZooKeeper：Kafka依賴ZooKeeper，需要安裝ZooKeeper。

安裝Kafka

1. 下載Kafka安裝包：

cd /opt/
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz

2. 解壓Kafka安裝包：

tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 kafka

3. 創建存放Kafka消息的目錄：

mkdir kafka-logs

4. 修改配置文件server.properties：

cd /opt/kafka/config/
vim server.properties

修改以下參數：

• broker.id=0
• listeners=PLAINTEXT://your_first_node_ip:9092
• log.dirs=/opt/kafka/kafka-logs
• zookeeper.connect=your_first_node_ip:2181,your_second_node_ip:2181,your_third_node_ip:2181

5. 分發Kafka安裝目錄到其他集群節點并修改broker.id為不一樣的值：

scp -r /opt/kafka/ your_second_node_ip:/opt/
scp -r /opt/kafka/ your_third_node_ip:/opt/

在其他節點上修改server.properties文件中的broker.id為1和3。

6. 編寫Kafka集群操作腳本，用于啟動和停止Kafka集群：

• 導入java環境：

vim /etc/profile

添加如下內容（注意：填寫自己的java安裝目錄）：

export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

• 創建kafka啟動腳本：

vim kafka-cluster.sh

添加如下內容：

#!/bin/bash
case $1 in
    "start")
        for i in your_first_node your_second_node your_third_node
        do
            echo -------------------------------- $i kafka 啟動 ---------------------------
            ssh $i "source /etc/profile; /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
        done
        ;;
esac

7. 賦予腳本執行權限：

chmod +x kafka-cluster.sh

8. 啟動Kafka集群：

./kafka-cluster.sh start

9. 停止Kafka集群：

./kafka-cluster.sh stop

以上步驟應該可以幫助你在Debian上成功搭建Kafka集群。如果在執行過程中遇到問題，請檢查網絡配置、防火墻設置以及各個節點的配置文件是否正確。