Kafka消費者配置優化可從以下方面入手:
fetch.min.bytes
(默認1字節)和fetch.max.wait.ms
(默認500ms),減少網絡請求次數,提升吞吐量。max.poll.records
(默認500),避免單次處理消息過多導致超時。enable.auto.commit=false
),采用手動異步提交(commitAsync
),減少阻塞并提高可靠性。isolation.level=read_committed
,僅消費已提交消息。CooperativeStickyAssignor
分區策略(Kafka 2.4+),減少重平衡開銷。session.timeout.ms
(默認10秒)和heartbeat.interval.ms
(默認3秒),降低誤判概率。max.poll.interval.ms
(默認5分鐘),適應復雜處理邏輯。consumer_lag
(滯后量)、吞吐量等指標,動態調整參數。參考來源: