在Ubuntu上配置Kafka資源分配,需從內存、CPU、磁盤、網絡等方面優化,以下是關鍵步驟及參數說明:
kafka-server-start.sh
腳本,添加:export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"
(根據服務器內存調整,建議不超過物理內存50%-70%)。server.properties
中num.network.threads
(網絡線程數,默認8)和num.io.threads
(I/O線程數,默認8),根據CPU核心數優化。cgroup-tools
)。log.dirs
(如/data/kafka/logs
),確保磁盤空間充足,建議使用SSD提升I/O性能。log.retention.hours
(保留時間,默認168小時)、log.segment.bytes
(日志段大小,默認1GB)。listeners
參數指定監聽地址和端口(如PLAINTEXT://0.0.0.0:9092
),并通過系統參數優化網絡延遲(如tcp_nodelay
)。compression.type=gzip
(減少網絡和存儲開銷)。num.partitions
(默認1),根據業務負載均衡數據。配置后需重啟Kafka服務生效,并通過監控工具(如Prometheus+Grafana)觀察資源使用情況,動態調整參數。