溫馨提示×

Linux Kafka配置時需注意什么

小樊
47
2025-08-24 08:16:49
欄目: 智能運維

在Linux上配置Kafka時,需重點關注以下方面:

  1. 環境準備

    • 安裝Java 8+(推薦OpenJDK 11+)。
    • 確保ZooKeeper服務正常(Kafka 2.8+可不用ZooKeeper,需配置Kraft模式)。
  2. 核心配置文件(server.properties)

    • 唯一標識broker.id需在集群中唯一。
    • 數據存儲log.dirs指定多磁盤目錄(如/data1/kafka,/data2/kafka)。
    • 網絡配置listeners設置監聽地址(如PLAINTEXT://0.0.0.0:9092),advertised.listeners配置外部訪問地址。
    • 性能參數
      • num.partitions:根據吞吐量調整(建議CPU核心數×2)。
      • replication.factor:生產環境設為2-3,確保高可用。
      • log.retention.hours:設置日志保留時間(如168小時,即7天)。
  3. 硬件與系統優化

    • 內存:JVM堆內存建議設置為可用內存的50%-70%(如-Xms8g -Xmx8g),避免超過50GB。
    • 磁盤:使用SSD提升I/O性能,配置noatime掛載選項減少磁盤開銷。
    • 網絡:確保千兆/萬兆網絡,避免跨機房延遲。
  4. 高可用與安全

    • 副本機制:設置min.insync.replicas=2,確保數據可靠性。
    • 權限控制:啟用SASL認證和ACL,限制非法訪問。
  5. 監控與維護

    • 啟用JMX監控(JMX_PORT=9999),定期檢查Broker狀態。
    • 配置日志滾動(log.roll.hours)和壓縮(log.cleaner.enable=true)。
  6. 常見問題規避

    • 檢查端口沖突(如9092、2181),避免與其他服務重疊。
    • 確保文件描述符限制足夠(通過ulimit -n設置為100000+)。

參考來源:

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女