以下是在CentOS上監控Kafka性能的常用方法及工具:
一、命令行工具
- JMX監控:通過
kafka-run-class.sh kafka.tools.JMXShell
連接JMX端口,查詢吞吐量(BytesIn/OutPerSec)、延遲等指標。
- Kafka自帶命令:
kafka-topics.sh
:查看主題狀態。
kafka-consumer-groups.sh
:監控消費者組偏移量及堆積情況。
二、第三方工具
- Prometheus + Grafana:
- 通過Kafka Exporter采集JMX指標,配置Prometheus抓取數據,在Grafana中創建儀表盤展示吞吐量、延遲、磁盤使用率等。
- Kafka Manager:支持broker級JMX監控、消費者進度管理,提供Web界面操作。
- Burrow:專注消費者偏移量監控,檢測延遲及堆積問題。
- Confluent Control Center:商業級工具,提供集中化監控、告警及性能分析。
三、關鍵監控指標
- Broker級:吞吐量(MessagesInPerSec、BytesIn/OutPerSec)、CPU/內存/磁盤使用率、連接數。
- Topic級:分區副本同步狀態(UnderReplicated Partitions)、消息堆積量。
- 消費者:消費延遲、堆積消息數、消費速率。
四、配置建議
- 啟用Kafka JMX遠程訪問,配置
server.properties
中jmx.port
并開放防火墻。
- 定期分析監控數據,設置告警規則(如消息堆積超過閾值、Broker異常等)。