Kafka在Debian上如何部署

在Debian上部署Kafka的步驟如下：

1. 安裝Java運行環境

Kafka是用Java編寫的，因此首先需要在Debian上安裝Java運行環境。

# 下載JDK 8（根據你的需要選擇合適的版本）
wget https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html#8173_jdk-8uXXX-linux-x64-bin.tar.gz

# 解壓JDK安裝包
sudo tar -zxvf jdk-8uXXX-linux-x64.tar.gz -C /usr/local

# 設置JAVA_HOME環境變量
echo "export JAVA_HOME=/usr/local/jdk1.8.0_XXX" >> /etc/profile
echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile

# 使環境變量生效
source /etc/profile

驗證Java安裝：

java -version

2. 下載Kafka

從Apache Kafka官網下載最新版本的Kafka：Kafka下載頁面

例如，下載kafka_2.13-3.9.0.tgz。

3. 解壓Kafka

wget https://downloads.apache.org/kafka/2.13.0/kafka_2.13-3.9.0.tgz
tar -xzf kafka_2.13-3.9.0.tgz
cd kafka_2.13-3.9.0

4. 配置Zookeeper（如果使用）

Kafka依賴于Zookeeper。你可以選擇使用自帶的Zookeeper或者自己下載并配置Zookeeper。

使用自帶的Zookeeper

修改config/zookeeper.properties文件：

dataDir=/tmp/zookeeper
clientPort=2181

啟動Zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

使用自定義的Zookeeper

下載并解壓Zookeeper：

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz
tar -xzf zookeeper-3.8.0.tar.gz
cd zookeeper-3.8.0

配置Zookeeper：

編輯conf/zoo.cfg文件：

dataDir=/data/zookeeper
clientPort=2181
server.1=localhost:2801
server.2=localhost:2802
server.3=localhost:2803

啟動Zookeeper：

bin/zkServer.sh start

5. 配置Kafka

編輯Kafka的config/server.properties文件：

broker.id=1
listeners=PLAINTEXT://your_server_ip:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=3
default.replication.factor=3
offsets.topic.replication.factor=3
num.recovery.threads.per.data.dir=1
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
group.initial.rebalance.delay.ms=0

6. 啟動Kafka

啟動Kafka服務器：

bin/kafka-server-start.sh config/server.properties

7. 驗證Kafka是否啟動成功

使用以下命令檢查Kafka是否正在運行：

ss -tnlp | grep 9092

或者查看Kafka的日志文件：

tail -f /tmp/kafka-logs/server.log

8. 常用命令總結

• 查看所有Topic：

./kafka-topics.sh --zookeeper localhost:2181 --list

• 創建Topic：

./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 3 --partitions 3

• 查看Topic詳情：

./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

以上步驟應該可以幫助你在Debian上成功部署Kafka。如果在部署過程中遇到任何問題，請參考Kafka官方文檔或相關社區資源。