Kafka在Linux上的資源消耗優化可從以下方面入手:
num.network.threads
和num.io.threads
為CPU核心數的50%~100%,提升并發處理能力。buffer.memory
(建議64MB以上)、batch.size
(如1MB)和linger.ms
(如100ms),平衡吞吐量與延遲。compression.type=lz4
),減少網絡和存儲開銷。ulimit -n 65535
),避免連接數受限。vm.swappiness=10
、vm.dirty_background_ratio=5
),優化內存管理。tcp_nodelay
)降低延遲。參考來源: