JVM堆內存優化
kafka-server-start.sh
,設置KAFKA_HEAP_OPTS
,如-Xms4G -Xmx4G
(建議為物理內存的1/4到1/3,不超過32GB)。-XX:+UseG1GC
,并設置最大停頓時間-XX:MaxGCPauseMillis=20
。Kafka緩沖區參數調優
其他關鍵配置
num.partitions
(建議大于消費者數量)和default.replication.factor
,提升并行處理能力。log.segment.bytes
(如1GB)控制日志分段,減少索引文件占用內存。監控與調優
jstat -gcutil <pid>
監控JVM垃圾回收情況,分析停頓時間。系統級優化
ulimit -n 100000
,避免因分區過多導致內存映射文件耗盡資源。noatime
掛載,減少磁盤I/O開銷。參考來源:[1,2,3,4,5,6,7,8,9,10]