優化Kafka在CentOS上的CPU使用可從配置調優、硬件升級和系統參數調整入手,具體如下:
num.partitions(建議為核數2-3倍),num.io.threads和num.network.threads設置為核數50%-80%,避免線程過多導致上下文切換開銷。compression.type=lz4減少數據量,batch.size設置為16KB-1MB,linger.ms設為10-100ms,提升吞吐量并降低CPU負載。default.replication.factor(通常3),避免過多副本同步消耗CPU;調整log.segment.bytes(如1GB)減少日志分段頻繁操作。ulimit -n 65536增加句柄數,避免因連接數過多導致CPU異常。vm.max_map_count=655360、net.core.rmem/wmem等參數,優化網絡和內存性能。參考來源: