以下是Debian上Kafka性能調優的配置策略:
num.partitions
設置為與消費者線程數相近,以充分利用多核CPU;default.replication.factor
設為3,min.insync.replicas
設為2,確保數據可靠性。buffer.memory
設置為可用內存的50%-70%;使用SSD存儲,合理配置log.segment.bytes
等日志相關參數。num.io.threads
設為CPU核心數的2倍,num.network.threads
設為CPU核心數加1。compression.type
選snappy或lz4;log.flush.interval.messages
和log.flush.interval.ms
根據業務調整,減少刷盤頻率。batch.size
,如設置為100KB-200KB,linger.ms
設為10-100ms。compression.type
選snappy等;根據可靠性需求設置acks
,如設置為all。fetch.min.bytes
和fetch.max.wait.ms
,減少拉取頻率。修改kafka-server-start.sh
,設置合適的堆內存大小,如-Xms8G -Xmx8G
,并選擇合適的垃圾回收器,如G1GC。