centos上kafka網絡配置有哪些要點

一、核心網絡參數配置

• listeners：定義Kafka Broker監聽的網絡接口、端口及協議（如PLAINTEXT/SSL/SASL_PLAINTEXT）。格式為協議://IP:端口，常見配置包括：
  • 監聽所有接口：listeners=PLAINTEXT://0.0.0.0:9092（開發測試常用，生產環境需限制IP）；
  • 監聽特定接口：listeners=PLAINTEXT://內網IP:9092（僅允許內網訪問）。
    該參數決定了Kafka接受連接的入口，需與服務器網絡環境匹配。
• advertised.listeners：告知客戶端如何連接到Kafka集群，尤其在使用NAT、負載均衡或跨網絡時至關重要。需設置為客戶端可直接訪問的地址（如公網IP、域名或負載均衡地址）。例如：
  • 內網環境：advertised.listeners=PLAINTEXT://內網IP:9092；
  • 外網環境：advertised.listeners=PLAINTEXT://公網IP:9092。
    若配置錯誤，客戶端將無法建立連接。
• listener.security.protocol.map：關聯協議與安全機制，確保通信安全。例如：
  • 明文傳輸：listener.security.protocol.map=PLAINTEXT:PLAINTEXT；
  • SSL加密：listener.security.protocol.map=SSL:SSL,SASL_SSL:SASL_SSL；
  • SASL認證：listener.security.protocol.map=SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL。
    需與listeners中的協議一一對應，生產環境建議啟用SSL/SASL。
• inter.broker.listener.name：指定Broker之間通信的監聽器名稱（僅在集群內部使用）。需在listeners中定義，例如：
  inter.broker.listener.name=INTERNAL_PLAINTEXT，并在listener.security.protocol.map中配置對應安全機制。該參數隔離了內部與外部流量，提升集群安全性。

二、網絡性能優化配置

• socket.send.buffer.bytes：發送緩沖區大?。J102400字節），用于臨時存儲待發送數據。增大該值可提升批量發送效率，適合高帶寬網絡，例如設置為1MB：socket.send.buffer.bytes=1048576。
• socket.receive.buffer.bytes：接收緩沖區大?。J102400字節），用于存儲客戶端發送的數據。增大該值可減少丟包率，適合高吞吐量場景，例如設置為1MB：socket.receive.buffer.bytes=1048576。
• num.network.threads：處理網絡請求的線程數（默認3）。需根據CPU核心數調整，建議設置為CPU核數+1（如4核CPU設置為5），以提升并發處理能力。
• num.io.threads：處理磁盤I/O的線程數（默認8）。需根據磁盤性能和I/O負載調整，建議設置為CPU核數的2倍（如4核CPU設置為8），以加快消息寫入速度。
• socket.request.max.bytes：單個socket請求的最大大?。J100MB）。需根據消息大小調整，若生產大消息（如超過10MB），可適當增大（如100MB）：socket.request.max.bytes=104857600，避免請求被拒絕。

三、安全配置要點

• 協議與加密：避免使用明文傳輸（PLAINTEXT），優先啟用SSL加密（SSL://）或SASL認證（SASL_PLAINTEXT:///SASL_SSL://）。例如：
  listeners=SSL://0.0.0.0:9093，并配置listener.security.protocol.map=SSL:SSL。
• 證書管理：啟用SSL時，需為Broker配置證書（如CA證書、Broker證書），客戶端需信任該證書，確保通信加密。
• 訪問控制：結合防火墻、安全組限制訪問IP，僅允許可信客戶端/節點訪問Kafka端口（如9092/9093）。

四、防火墻與系統配置

• CentOS防火墻：使用firewalld開放Kafka端口（默認9092），命令如下：

  sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent
  sudo firewall-cmd --reload
  

  若使用SELinux，需設置為寬松模式（setenforce 0）或配置SELinux策略允許Kafka網絡訪問。
• 系統內核參數：優化網絡性能，調整以下參數（寫入/etc/sysctl.conf后執行sysctl -p）：
  • 降低swap使用：vm.swappiness=1；
  • 調整臟頁刷新：vm.dirty_background_ratio=10、vm.dirty_ratio=20；
  • 增加內存映射限制：vm.max_map_count=262144；
  • 優化TCP緩沖區：net.core.rmem_default=262144、net.core.wmem_default=262144、net.ipv4.tcp_wmem=4096 16384 4194304、net.ipv4.tcp_rmem=4096 87380 4194304。

五、其他注意事項

• 主機名解析：確保listeners中的IP或主機名可被客戶端解析（如通過DNS或/etc/hosts文件），避免連接失敗。
• 日志目錄權限：log.dirs指定的目錄（如/tmp/kafka-logs）需有Kafka進程的寫權限，避免啟動失敗。
• Zookeeper連接：zookeeper.connect需配置為可訪問的Zookeeper地址（如localhost:2181或zk1:2181,zk2:2181,zk3:2181），確保Kafka與Zookeeper集群通信正常。