Debian系統下Kafka性能優化可從以下方面入手:
num.partitions
:設置為與消費者線程數相近,提升并行處理能力。compression.type
:選用lz4等壓縮算法,減少網絡傳輸和存儲壓力。acks
:根據可靠性需求選擇all
(高可靠)或1
(高吞吐)。num.io.threads
/num.network.threads
:設置為CPU核數的50%/30%-50%,優化磁盤和網絡處理能力。batch.size
:設置為100KB-200KB,批量發送提升吞吐量。linger.ms
:設置為100ms以上,允許更多消息聚合。fetch.min.bytes
:設置為1MB,減少拉取頻次。fetch.max.wait.ms
:設置為1000ms,平衡延遲與吞吐。net.core.rmem_max
)優化網絡傳輸。參數調整需結合業務場景(如高吞吐/低延遲/高可靠)測試驗證。