以下是在Ubuntu上合理配置Kafka的方法:
安裝Java運行環境,推薦OpenJDK 8,使用命令sudo apt update和sudo apt install openjdk-8-jdk。下載并解壓Zookeeper,配置其zoo.cfg文件,設置數據目錄、客戶端端口等參數。
下載解壓Kafka后,編輯server.properties文件。設置broker.id為唯一標識,listeners為監聽地址和端口,advertised.listeners為對外公布的訪問地址,log.dirs為日志存儲目錄,zookeeper.connect為Zookeeper連接字符串。還可根據需求設置num.partitions、log.retention.hours、compression.type等參數。
修改kafka-server-start.sh文件,通過KAFKA_HEAP_OPTS設置JVM堆內存大小,如-Xms8G -Xmx8G,還可設置元空間、直接內存等參數。同時,調整buffer.memory參數,建議設置為可用內存的50%-70%。
使用SSD硬盤,調整文件系統參數,如掛載時使用noatime、nodiratime等選項。在Kafka配置中,合理設置num.io.threads等參數,以優化磁盤I/O性能。
將Kafka的bin目錄添加到系統PATH環境變量中,方便使用Kafka命令。
啟動Zookeeper和Kafka服務,使用命令sudo /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties和sudo /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties。創建測試Topic,驗證生產者和消費者是否正常工作。