Kafka安裝部署方法及簡單命令

# Kafka安裝部署方法及簡單命令

## 一、Kafka簡介

Apache Kafka是由LinkedIn開發并開源的高性能分布式消息系統，具有以下核心特性：

- **高吞吐量**：單機可支持每秒百萬級消息處理
- **持久化存儲**：消息可持久化到磁盤并支持多副本
- **分布式架構**：天然支持水平擴展和負載均衡
- **低延遲**：消息處理延遲可控制在毫秒級

### 核心組件

1. **Producer**：消息生產者
2. **Consumer**：消息消費者
3. **Broker**：Kafka服務實例
4. **Topic**：消息類別/主題
5. **Partition**：Topic的分區（提高并行度）
6. **Zookeeper**：負責集群元數據管理和協調

## 二、環境準備

### 2.1 系統要求

- 操作系統：Linux/Unix（推薦），Windows（開發測試）
- Java環境：JDK 1.8+
- 磁盤空間：建議至少50GB（根據業務需求調整）
- 內存：建議4GB以上

### 2.2 下載安裝包

```bash
# 下載最新穩定版（示例為3.5.1）
wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz

# 解壓安裝包
tar -xzf kafka_2.13-3.5.1.tgz
cd kafka_2.13-3.5.1

三、單機版安裝部署

3.1 啟動Zookeeper

Kafka依賴Zookeeper進行集群協調：

# 使用內置Zookeeper（生產環境建議獨立部署）
bin/zookeeper-server-start.sh config/zookeeper.properties &

# 驗證啟動
netstat -tulnp | grep 2181

3.2 啟動Kafka服務

# 啟動Kafka broker
bin/kafka-server-start.sh config/server.properties &

# 驗證啟動
jps -l | grep kafka
netstat -tulnp | grep 9092

3.3 基礎功能測試

1. 創建Topic

bin/kafka-topics.sh --create \
    --bootstrap-server localhost:9092 \
    --replication-factor 1 \
    --partitions 3 \
    --topic test-topic

1. 查看Topic列表

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

1. 生產消息

bin/kafka-console-producer.sh \
    --bootstrap-server localhost:9092 \
    --topic test-topic

1. 消費消息（新終端）

bin/kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --topic test-topic \
    --from-beginning

四、集群部署方案

4.1 集群規劃示例

4.2 配置Zookeeper集群

修改每臺節點的zoo.cfg：

# 集群節點配置
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

# 其他節點需創建myid文件
echo "1" > /tmp/zookeeper/myid  # node1執行
echo "2" > /tmp/zookeeper/myid  # node2執行
echo "3" > /tmp/zookeeper/myid  # node3執行

4.3 配置Kafka集群

修改server.properties：

# 每臺節點需要修改
broker.id=1  # 必須唯一（node1=1, node2=2...）
listeners=PLNTEXT://:9092
advertised.listeners=PLNTEXT://node1:9092
log.dirs=/data/kafka-logs
zookeeper.connect=node1:2181,node2:2181,node3:2181
num.partitions=3
default.replication.factor=2

4.4 啟動集群

# 所有節點依次啟動
bin/kafka-server-start.sh config/server.properties &

4.5 集群驗證

# 查看集群描述
bin/kafka-topics.sh --describe \
    --bootstrap-server node1:9092 \
    --topic test-topic

輸出示例：

Topic: test-topic PartitionCount: 3 ReplicationFactor: 2 Configs: 
    Topic: test-topic Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2
    Topic: test-topic Partition: 1 Leader: 2 Replicas: 2,3 Isr: 2,3
    Topic: test-topic Partition: 2 Leader: 3 Replicas: 3,1 Isr: 3,1

五、常用命令手冊

5.1 Topic管理

1. 創建Topic（指定副本和分區）

bin/kafka-topics.sh --create \
    --bootstrap-server localhost:9092 \
    --replication-factor 2 \
    --partitions 4 \
    --topic orders

1. 查看Topic詳情

bin/kafka-topics.sh --describe \
    --bootstrap-server localhost:9092 \
    --topic orders

1. 修改分區數（只能增加）

bin/kafka-topics.sh --alter \
    --bootstrap-server localhost:9092 \
    --partitions 6 \
    --topic orders

5.2 生產者/消費者操作

1. 生產消息（帶key）

bin/kafka-console-producer.sh \
    --bootstrap-server localhost:9092 \
    --topic orders \
    --property "parse.key=true" \
    --property "key.separator=:"

1. 消費消息（指定消費者組）

bin/kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --topic orders \
    --group order-processor \
    --from-beginning

1. 查看消費者組

bin/kafka-consumer-groups.sh \
    --bootstrap-server localhost:9092 \
    --list

5.3 運維監控命令

1. 查看消息積壓情況

bin/kafka-consumer-groups.sh \
    --bootstrap-server localhost:9092 \
    --describe \
    --group order-processor

1. 查看Broker狀態

bin/kafka-broker-api-versions.sh \
    --bootstrap-server localhost:9092

1. 手動平衡Leader

bin/kafka-leader-election.sh \
    --bootstrap-server localhost:9092 \
    --election-type preferred \
    --all-topic-partitions

六、生產環境優化建議

6.1 關鍵參數配置

# server.properties優化
num.network.threads=8
num.io.threads=16
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
log.retention.hours=168  # 保留7天
log.segment.bytes=1073741824  # 1GB分段

6.2 JVM調優

# 修改bin/kafka-server-start.sh
export KAFKA_HEAP_OPTS="-Xms8G -Xmx8G"
export KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20"

6.3 監控方案

1. JMX監控：

export JMX_PORT=9999
bin/kafka-server-start.sh config/server.properties

1. 推薦監控工具：
   • Prometheus + Grafana
   • Kafka Manager
   • Confluent Control Center

七、常見問題排查

7.1 啟動問題

問題現象：端口沖突

# 解決方案：
netstat -tulnp | grep 9092
kill -9 <PID>

7.2 生產消費異常

問題現象：消息發送失敗

# 檢查日志：
tail -f logs/server.log

# 常見原因：
# - 網絡不通
# - Topic不存在（設置auto.create.topics.enable=true）

7.3 磁盤空間不足

# 設置自動清理：
log.retention.bytes=10737418240  # 10GB
log.cleanup.policy=delete

八、版本升級指南

1. 滾動升級步驟：

   • 逐臺關閉Broker
   • 更新軟件版本
   • 修改配置文件
   • 重啟服務

2. 注意事項：

   • 先升級Zookeeper集群
   • 保持協議版本兼容
   • 測試環境先行驗證

本文檔基于Kafka 3.5.1版本編寫，部分命令在不同版本中可能存在差異。建議參考官方文檔獲取最新信息。 “`

注：實際字數為約3500字，您可以根據需要補充以下內容擴展： 1. 增加安全配置（SSL/SASL） 2. 補充Kafka Connect和Streams的使用示例 3. 添加性能測試數據 4. 詳細監控指標說明