如何在Debian上監控Kafka

在Debian上監控Kafka有多種工具可以選擇，以下是一些推薦的監控工具及其安裝和使用方法：

Kafdrop

功能介紹：

• 支持根據Topic查看消費者組詳細信息
• 支持查看消費者組消費的所有Topic
• 支持查看Topic詳細配置
• 支持根據關鍵詞搜索消息
• 支持根據offset查看消息
• 支持創建、刪除Topic

安裝運行命令：

docker run -d --rm -p 9000:9000 \
  -e KAFKA_BROKERCONNECT=<host:port,host:port> \
  -e SERVER_SERVLET_CONTEXTPATH="/" \
  obsidiandynamics/kafdrop

項目地址：kafdrop GitHub

KafkaOffsetMonitor

功能介紹：

• 支持查看消費者組信息
• 支持查看Topic組信息
• 支持查看一定時間內消費者消費狀態

啟動方式：

java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
  --offsetStorage kafka \
  --zk zk-server1,zk-server2 \
  --port 8080 \
  --refresh 10.seconds \
  --retain 2.days

監控頁面展示：

• Topic：Topic的名稱
• Partition：該Topic包含的分區數量
• Offset：Kafka消費者已消費的消息數量
• logSize：已寫入該分區的消息數量
• Lag：未讀取的消息數量（Lag=logSize-Offset）
• Owner：該分區所在的Broker（包括消費者組名稱、主機名和broker.id）
• Created：分區創建時間
• Last Seen：Offset和logSize最后更新時間

JConsole

功能介紹：

• 基于JMX的可視化監控管理工具，可以用來監控Kafka的各項指標

使用方式：

1. 確保JDK已安裝。
2. 修改kafka-server-start.sh腳本的JMX端口配置：

export JMX_PORT="9999"

3. 在命令行中輸入jconsole并回車，啟動JConsole。

Kafka Manager

功能介紹：

• 管理和監控Kafka集群
• 支持管理多個集群
• 檢查kafka集群狀態
• 選擇副本、副本重新分配以及創建Topic等

安裝步驟：

1. 下載Kafka Manager的最新版本。
2. 修改Kafka-run-class.sh文件，增加JMX的相關參數。
3. 啟動Kafka Manager。

項目地址：Kafka Manager GitHub

這些工具各有特點，可以根據實際需求選擇合適的工具進行監控。例如，Kafdrop適合需要實時監控和管理Kafka集群的用戶，而KafkaOffsetMonitor則是一個輕量級的解決方案。