在Linux上配置Kafka時,需重點關注以下方面:
環境準備
核心配置文件(server.properties)
broker.id
需在集群中唯一。log.dirs
指定多磁盤目錄(如/data1/kafka,/data2/kafka
)。listeners
設置監聽地址(如PLAINTEXT://0.0.0.0:9092
),advertised.listeners
配置外部訪問地址。num.partitions
:根據吞吐量調整(建議CPU核心數×2)。replication.factor
:生產環境設為2-3,確保高可用。log.retention.hours
:設置日志保留時間(如168小時,即7天)。硬件與系統優化
-Xms8g -Xmx8g
),避免超過50GB。noatime
掛載選項減少磁盤開銷。高可用與安全
min.insync.replicas=2
,確保數據可靠性。監控與維護
JMX_PORT=9999
),定期檢查Broker狀態。log.roll.hours
)和壓縮(log.cleaner.enable=true
)。常見問題規避
ulimit -n
設置為100000+)。參考來源: