怎樣監控Debian上Kafka的運行狀態

要監控Debian上Kafka的運行狀態，您可以使用多種監控工具和方法。以下是一些推薦的監控工具及其使用方法：

推薦的監控工具

1. Kafdrop

   • 功能：支持查看Topic和消費者組詳細信息，能夠搜索特定關鍵詞并創建、刪除Topic。
   • 安裝：

     docker run -d --rm -p 9000:9000 \
       -e KAFKA_BROKERCONNECT=<host:port> \
       -e SERVER_SERVLET_CONTEXTPATH="/" \
       obsidiandynamics/kafdrop
     

   • 優點：界面友好，功能全面，適合需要實時監控和管理Kafka集群的用戶。

2. KafkaOffsetMonitor

   • 功能：支持查看消費者組信息和Topic組信息，能夠查看一定時間內消費者消費狀態。
   • 啟動方式：

     java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
       com.quantifind.kafka.offsetapp.OffsetGetterWeb \
       --offsetStorage kafka \
       --zk zk-server1,zk-server2 \
       --port 8080 \
       --refresh 10.seconds \
       --retain 2.days
     

   • 優點：輕量級，配置簡單。

3. EFAK

   • 功能：支持查看Topic信息、消費者組信息、集群Metric信息，并根據SQL查詢數據，支持告警。
   • 安裝步驟：參考EFAK官方文檔。
   • 優點：功能強大，支持復雜查詢和告警。

Kafka的主要監控指標

• Broker指標：

  • UnderReplicatedPartitions：同步異常的分區數。
  • ISRShrink/ISRExpand：ISR收縮和擴容的頻率。
  • ActiveControllerCount：當前Broker節點是否是Controller節點。
  • offlinePartitionCount：不可用狀態的Partition數量。
  • LeaderElectionRateAndTimeMs：Leader選舉的頻率和無Leader節點的時長。
  • UncleanLeaderElectionsPerSec：從ISR集合中選出新的Leader節點的頻率。
  • TotalTimeMs：處理請求的總時間。

• 生產者指標：

  • request-latency-avg：平均請求時間。
  • waiting-threads：發送緩存區中阻塞的用戶線程數。
  • bytes-in-per-sec：生產者的網絡吞吐量。
  • bytes-out-per-sec：生產者的吞吐量。

• 消費者指標：

  • records-lag：消費者在當前分區上落后于生產者的數量。
  • bytes-per-sec：消費者的網絡吞吐量。
  • messages-per-sec：消息的消費速度。

• Zookeeper指標：

  • zookeeper commit-per-sec：Zookeeper的高寫負載情況。

通過這些工具和指標，您可以全面監控Debian上Kafka的運行狀態，確保其高效穩定運行。