Linux Kafka配置中哪些參數最關鍵

以下是Linux Kafka配置中關鍵參數，分服務端和客戶端兩類說明：

一、服務端（Broker）關鍵參數

1. broker.id
   • 集群中唯一標識，需為整數且各節點唯一，用于區分不同Broker。
2. listeners/advertised.listeners
   • listeners：Broker監聽的地址和端口（如PLAINTEXT://0.0.0.0:9092）。
   • advertised.listeners：客戶端實際連接地址，需配置為可訪問的IP和端口，支持多協議（如SSL、SASL）。
3. log.dirs
   • 消息存儲目錄，建議配置多個路徑（逗號分隔）并掛載到不同磁盤，提升I/O性能。
4. num.network.threads/num.io.threads
   • num.network.threads：處理網絡請求的線程數，建議設置為CPU核心數。
   • num.io.threads：處理磁盤I/O的線程數，建議設置為CPU核心數×2。
5. log.retention.hours/log.retention.bytes
   • 控制消息保留策略，log.retention.hours默認168小時（7天），log.retention.bytes可限制單個分區日志大小。
6. default.replication.factor
   • 新建Topic的默認副本數，集群環境下建議設置為節點數，確保高可用。
7. zookeeper.connect
   • ZooKeeper集群地址，用于元數據管理和集群協調。

二、客戶端（生產/消費者）關鍵參數

生產者（Producer）

1. bootstrap.servers
   • Kafka集群地址，用于建立初始連接。
2. acks
   • 消息確認機制：0（不等待確認，吞吐量高但可能丟消息）、1（僅Leader確認）、all（所有副本確認，最可靠）。
3. batch.size/linger.ms
   • batch.size：批次大?。ㄗ止潱?，默認16KB，增大可提升吞吐量。
   • linger.ms：等待批次填滿的時間（毫秒），默認0，增大可減少請求頻率。
4. retries/enable.idempotence
   • retries：失敗重試次數，默認0，建議設置為>0并配合enable.idempotence=true避免重復消息。
   • enable.idempotence：是否啟用冪等性，確保消息不重復（需配合acks=all）。

消費者（Consumer）

1. bootstrap.servers
   • 集群地址，用于發現Broker。
2. group.id
   • 消費者組ID，同一組內消費者協同消費分區，避免重復消費。
3. auto.offset.reset
   • 無偏移量或偏移量無效時的行為：earliest（從最早消息開始）、latest（從最新消息開始）。
4. fetch.min.bytes/fetch.max.wait.ms
   • fetch.min.bytes：單次拉取的最小字節數，默認1，增大可減少請求頻率。
   • fetch.max.wait.ms：等待滿足fetch.min.bytes的最長時間，默認500ms。

三、通用關鍵參數

• num.partitions：Topic默認分區數，影響并行度，建議設置為集群節點數的倍數。
• offsets.topic.replication.factor：消費者偏移量Topic的副本數，集群環境建議設置為節點數。
• log.segment.bytes：單個日志段文件大小，默認1GB，影響日志滾動頻率。

以上參數直接影響Kafka的性能、可靠性和可用性，生產環境中需根據業務需求調整[1,2,3,4,5,6,7,8,9,10,11]。