Linux中Kafka配置有哪些技巧

以下是Linux中Kafka的關鍵配置技巧，涵蓋性能、穩定性和安全等方面：

1. 硬件與存儲優化

   • 使用SSD提升磁盤I/O性能，配置多磁盤目錄（如log.dirs=/data1/kafka,/data2/kafka）。
   • 服務器配置：多核CPU、32GB+內存（推薦64GB），避免JVM堆內存超過50%物理內存。

2. 核心配置參數調優

   • Broker參數：
     • num.network.threads/num.io.threads：根據CPU核心數設置（如8/16），提升網絡和IO并發能力。
     • log.segment.bytes：增大日志段大?。ㄈ?12MB），減少頻繁刷盤開銷。
     • log.retention.hours：按需設置保留時間（如7天），配合log.cleanup.policy（delete或compact）管理日志。
   • Producer參數：
     • batch.size：批量發送大?。ㄈ?4KB），配合linger.ms（如10ms）提升吞吐量。
     • compression.type：啟用壓縮（zstd/lz4），節省帶寬和存儲。
   • Consumer參數：
     • max.poll.records：單次拉取最大消息數（如500），配合多線程并行消費。

3. 高可用與容錯配置

   • 副本機制：設置replication.factor≥2，確保數據冗余，搭配min.insync.replicas（如2）保證一致性。
   • 分區策略：根據吞吐量合理設置分區數（如每分區10-50MB/s吞吐量），避免熱點。

4. 網絡與安全配置

   • 綁定固定IP和端口，配置advertised.listeners支持多協議（如PLAINTEXT/SSL）。
   • 啟用SSL/TLS加密傳輸，配置SASL/SCRAM認證控制訪問權限。

5. 監控與運維

   • 使用Prometheus+Grafana監控JMX指標（如吞吐量、延遲、磁盤使用率）。
   • 定期清理日志文件，避免磁盤占滿，可通過log.retention.bytes設置最大日志大小。

6. JVM與系統參數優化

   • 設置JVM堆內存（-Xms/-Xmx）為物理內存的50%-70%，推薦G1垃圾回收器。
   • 調整系統參數：ulimit -n 65535增加文件描述符限制，優化vm.swappiness（如10）減少內存交換。

參考來源：