以下是Kafka在Ubuntu網絡配置的優化要點:
基礎網絡配置
/etc/netplan/*.yaml配置靜態IP,確保listeners和advertised.listeners指向正確IP。ufw allow 9092/tcp開放Kafka默認端口。ethtool調整網卡隊列長度,啟用多隊列并行傳輸。Kafka參數調優
num.network.threads(建議CPU核數50%~75%)和num.io.threads(匹配CPU核心數),提升網絡和磁盤處理能力。socket.send.buffer.bytes和socket.receive.buffer.bytes(如設置為1MB),優化網絡緩沖區。compression.type(如Snappy/LZ4),減少傳輸數據量。replication.factor設為3,保障高可用。操作系統優化
ulimit -n 65536,避免連接數過多導致拒絕服務。sysctl優化net.core.somaxconn(建議設為1024+)、net.ipv4.tcp_max_syn_backlog等參數,提升連接效率。客戶端優化
batch.size(1MB~5MB)和linger.ms(50~100ms),啟用批量發送和壓縮。fetch.min.bytes(1MB)和max.poll.records(500~1000),減少拉取頻率。集群與監控
參考來源: