Kafka配置中的內存設置主要包括JVM堆內存和緩沖區內存,具體參數及設置建議如下:
JVM堆內存
通過KAFKA_HEAP_OPTS環境變量設置,格式為-Xms<size> -Xmx<size>,建議設置為可用內存的20%-30%,避免過大導致系統交換。
示例:export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"。
緩沖區內存(buffer.memory)
buffer.memory=16G(32GB服務器)。buffer.memory=64M(Producer)。其他關鍵參數
log.retention.hours/log.segment.bytes:控制日志保留時間和大小,間接影響內存占用。num.partitions:分區數過多會增加內存開銷,需根據業務負載調整。compression.type:啟用壓縮(如gzip)可減少內存和磁盤占用。注意事項:
參考來源: