如何監控Debian上的Kafka運行狀態

要監控Debian上的Kafka運行狀態，您可以使用多種監控工具。以下是一些推薦的監控工具及其使用方法：

推薦的監控工具

• kafka_exporter
• Kafdrop
• KafkaOffsetMonitor
• EFAK

監控工具的使用方法

kafka_exporter

• 項目地址：kafka_exporter GitHub
• 部署方式：使用docker-compose部署多個kafka_exporter，每個exporter對接一個Kafka broker。
• 配置：在每個kafka broker的配置文件中指定kafka.server和kafka.version。

Kafdrop

• 項目地址：Kafdrop GitHub
• 安裝運行命令：

  docker run -d --rm -p 9000:9000 \
    -e KAFKA_BROKERCONNECT=<host:port,host:port> \
    -e SERVER_SERVLET_CONTEXTPATH="/" \
    obsidiandynamics/kafdrop
  

• 功能：支持查看Topic總數、Partition總數、消費者組詳細信息、Topic詳細配置等。

KafkaOffsetMonitor

• 啟動方式：

  java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
    com.quantifind.kafka.offsetapp.OffsetGetterWeb \
    --offsetStorage kafka \
    --zk zk-server1,zk-server2 \
    --port 8080 \
    --refresh 10.seconds \
    --retain 2.days
  

• 功能：支持查看消費者組信息、Topic組信息、一定時間內消費者消費狀態等。

EFAK

• 項目地址：EFAK GitHub
• 安裝步驟：參考EFAK官方文檔。
• 功能：支持查看Topic信息、消費者組信息、集群Metric信息、根據SQL查詢數據等。

通過上述工具，您可以全面監控Debian上的Kafka集群狀態，包括Topic和消費者組的詳細信息、消費狀態、消息積壓情況等。選擇合適的工具可以幫助您更高效地管理和維護Kafka集群。