Debian系統如何監控Kafka運行狀態

在Debian系統上監控Kafka運行狀態，可以使用多種工具和方法。以下是一些推薦的監控工具及其使用方法：

推薦的Kafka監控工具

1. Kafdrop

   • 功能介紹：支持查看主題和消費者組信息，根據關鍵詞查看信息，創建和刪除Topic，性能監控等。
   • 安裝運行命令：

     docker run -d --rm -p 9000:9000 \
       -e KAFKA_BROKERCONNECT=<host:port,host:port> \
       -e SERVER_SERVLET_CONTEXTPATH="/" \
       obsidiandynamics/kafdrop
     

   • 項目地址：Kafdrop GitHub

2. KafkaOffsetMonitor

   • 功能介紹：支持查看消費者組信息，Topic組信息，一定時間內消費者消費狀態等。
   • 啟動方式：

     java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
       com.quantifind.kafka.offsetapp.OffsetGetterWeb \
       --offsetStorage kafka \
       --zk zk-server1,zk-server2 \
       --port 8080 \
       --refresh 10.seconds \
       --retain 2.days
     

   • 說明：offsetStorage有效的選項是"zookeeper",“kafka”,“storm”。

3. EFAK

   • 功能介紹：查看Topic信息，消費者組信息，集群Metric信息，根據SQL查詢數據，告警支持等。
   • 項目地址：EFAK GitHub

4. Prometheus + Grafana

   • 功能介紹：Prometheus是一個開源的監控系統，可以與Kafka集成，用于監控Kafka集群的性能指標。Grafana是一個開源的數據可視化工具，可以與Prometheus等監控系統集成，用于展示Kafka集群的監控數據。
   • 集成方法：可以參考Prometheus和Grafana的官方文檔進行配置。

5. ELK Stack（Elasticsearch, Logstash, Kibana）

   • 功能介紹：用于收集、分析和展示服務器和應用的性能數據。
   • 安裝配置：
     • 安裝Collectd：

       apt-get install collectd
       

     • 配置Collectd發送數據到Logstash。
     • 安裝和配置Elasticsearch和Kibana。

監控指標

監控Kafka時，以下是一些重要的監控指標：

• 基礎指標：CPU、內存、硬盤、網絡I/O等資源使用情況。
• Broker指標：UnderReplicatedPartitions、ISR shrink/expand、ActiveControllerCount、offlinePartitionCount、LeaderElectionRateAndTimeMs、UncleanLeaderElectionsPerSec。
• Producer指標：request-latency-avg、waiting-threads。
• Consumer指標：records-lag。

通過這些工具和指標，可以有效地監控和管理Debian系統上的Kafka集群，確保其高效穩定運行。