優化CentOS上Kafka性能可從配置、硬件、網絡、操作系統等多方面入手,具體如下:
Kafka配置優化
num.partitions:根據消費者線程數設置,充分利用并行性。num.io.threads:設為CPU核數的50%,提升磁盤I/O處理能力。compression.type:選擇lz4或snappy壓縮算法,減少網絡傳輸量。log.dirs:存儲路徑使用SSD,提升I/O性能。batch.size:設置為1M~5M,減少網絡請求次數。linger.ms:設為100ms~500ms,平衡延遲與吞吐量。fetch.min.bytes:設為1M,減少拉取頻率。max.poll.records:根據業務需求增加單次拉取量。硬件與存儲優化
網絡優化
net.core.rmem_max)優化TCP緩沖區。操作系統優化
vm.swappiness=1,避免頻繁swap。noatime選項,減少磁盤開銷。監控與調優
其他建議
unclean.leader.election.enable=false,避免數據丟失(需權衡可用性)。具體參數需根據業務負載和硬件環境調整,建議先在測試環境驗證效果。