kafka-manager怎么用

# Kafka-Manager怎么用

## 一、Kafka-Manager簡介

Kafka-Manager是Yahoo開源的Kafka集群管理工具，提供Web UI界面，支持以下核心功能：

- 多集群管理
- Broker狀態監控
- Topic創建/刪除/配置修改
- 分區管理（擴縮容、副本分配）
- 消費者組監控
- 副本重分配
- 權限管理（配合SASL）

> 項目地址：https://github.com/yahoo/kafka-manager

## 二、環境準備

### 1. 依賴環境
- JDK 1.8+
- ZooKeeper集群（與Kafka共用）
- Kafka 0.8.2+（建議1.0+版本）

### 2. 安裝方式
推薦兩種安裝方式：

#### 方式一：源碼編譯
```bash
git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
./sbt clean dist
# 生成的zip包在target/universal目錄下

方式二：直接下載release包

wget https://github.com/yahoo/kafka-manager/releases/download/2.0.0.2/kafka-manager-2.0.0.2.zip
unzip kafka-manager-2.0.0.2.zip

三、配置與啟動

1. 基礎配置

修改conf/application.conf關鍵配置：

kafka-manager.zkhosts="zk1:2181,zk2:2181,zk3:2181"
kafka-manager.zkhosts=${?ZK_HOSTS}
application.secret="your_secret_key"

2. 啟動服務

bin/kafka-manager -Dconfig.file=conf/application.conf \
                  -Dhttp.port=9000 \
                  -java-home /usr/java/jdk1.8.0_291

3. 后臺運行

建議使用systemd管理：

# /etc/systemd/system/kafka-manager.service
[Unit]
Description=Kafka Manager
After=network.target

[Service]
User=kafka
ExecStart=/path/to/bin/kafka-manager -Dconfig.file=/path/to/conf/application.conf
Restart=always

[Install]
WantedBy=multi-user.target

四、基礎使用指南

1. 添加Kafka集群

1. 訪問http://<host>:9000
2. 點擊”Cluster” > “Add Cluster”
3. 填寫配置：
   • Cluster Name：生產集群
   • ZooKeeper Hosts：zk1:2181,zk2:2181
   • Kafka Version：選擇對應版本
   • 勾選”Enable JMX Polling”

2. Topic管理

創建Topic

1. 進入集群 > Topics > Create
2. 填寫參數：
   • Topic Name：test_topic
   • Partitions：6
   • Replication Factor：2
   • 高級配置（可選）：

     
     {
     "retention.ms": "172800000",
     "cleanup.policy": "delete"
     }
     

分區擴容

1. 選擇Topic > “Add Partitions”
2. 輸入新增分區數（總分區數需大于原數量）

3. 消費者監控

1. 進入”Consumers”標簽頁
2. 查看各消費者組的：
   • Lag情況
   • 活躍消費者
   • 消費進度

五、高級功能

1. 副本重分配

當需要平衡集群負載時： 1. 進入”Topics” > 選擇Topic > “Generate Partition Assignments” 2. 選擇目標Broker 3. 點擊”Run Assignments”

2. Preferred Leader選舉

解決Leader不均衡問題： 1. 進入”Brokers”視圖 2. 點擊”Run Preferred Replica Election”

3. JMX監控集成

需在Broker端開啟JMX：

KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999"

六、常見問題排查

1. 無法連接ZooKeeper

• 檢查防火墻規則
• 驗證ZK字符串格式：host:port,host:port/path

2. JMX數據獲取失敗

• 確認Broker開啟JMX
• 檢查kafka-manager.jmx.user和kafka-manager.jmx.password配置

3. 操作超時

調整超時參數：

kafka-manager.broker-view-thread-pool-size=16
kafka-manager.broker-view-update-seconds=30

七、安全配置建議

1. 啟用基礎認證

修改application.conf：

basicAuthentication.enabled=true
basicAuthentication.username="admin"
basicAuthentication.password="password"

2. SASL集成

配置JAAS文件：

-Djava.security.auth.login.config=/path/to/jaas.conf

八、替代方案

隨著Kafka生態發展，也可考慮： - CMAK (原Kafka-Manager分支) - Kafka Web Console - Confluent Control Center（商業版）

注意：Kafka-Manager已停止維護，生產環境建議評估其他方案

最佳實踐建議： 1. 為每個環境（dev/test/prod）部署獨立實例 2. 定期備份conf/application.conf配置文件 3. 監控服務本身的資源使用情況（內存/線程數） “`