kafka在centos怎樣監控

在CentOS上監控Apache Kafka集群，可以采用多種工具和方案。以下是一些常用的監控工具和配置方法：

使用Kafka自帶的命令行工具

• 查看主題列表：使用 kafka-topics.sh --list --zookeeper zk_host:port 命令。
• 查看消費者組狀態：使用 kafka-consumer-groups.sh --bootstrap-server kafka_server:port --describe --group consumer_group 命令。
• 查看Kafka集群的狀態：使用 kafka-run-class.sh kafka.tools.JMXShell 命令連接到Kafka Broker的JMX端口，查詢各種關鍵指標。

使用JMX進行監控

• 在Kafka的啟動腳本中添加JMX相關參數，例如：

  export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"
  JMX_PORT=9988
  nohup sh /data/kafka_2.13-3.5.0/bin/kafka-server-start.sh /data/kafka_2.13-3.5.0/config/kraft/server.properties &
  

• 使用JMX客戶端（如jconsole或jmxtrans）連接到Kafka broker的JMX端口（例如9988）來查看監控指標。

使用第三方監控工具

• Prometheus + Grafana：Prometheus是一個流行的開源監控解決方案，Grafana是一個開源的分析和監測平臺。結合使用它們可以監控Kafka集群的性能和健康狀態。
  • 實施步驟：安裝Prometheus和Grafana，配置Prometheus抓取Kafka的JMX指標，在Grafana中創建儀表板來展示這些指標。
• Kafka Manager：一個開源的Kafka集群管理工具，提供了豐富的監控和管理功能。
  • 安裝步驟：從GitHub下載Kafka Manager的tar.gz包，解壓并進入解壓后的目錄，然后使用以下命令啟動Kafka Manager：

    nohup ./kafka-manager -Dconfig.file../conf/application.conf -Dhttp.port19090 &
    

• Kafka Exporter + Prometheus + Grafana：Kafka Exporter用于收集Kafka的JMX指標，結合Prometheus和Grafana進行監控和可視化。
  • 配置步驟：安裝Kafka Exporter，配置Prometheus抓取Kafka Exporter的指標，在Grafana中創建儀表板。
• KnowStreaming：一站式Apache Kafka集群指標與運維監控管控平臺，提供零侵入、全覆蓋的監控功能。
  • 安裝部署：可以通過腳本部署、容器部署或手動部署。
• Burrow：專門用于監控Kafka消費者偏移量的工具，可以及時檢測消費者組的偏移量情況。
• Confluent Control Center：由Confluent官方提供的商業監控工具，提供了集中化的Kafka集群監控、性能指標和報警功能。