在Ubuntu上配置Apache Kafka涉及多個步驟,包括安裝Java、Zookeeper和Kafka本身,配置它們,然后啟動服務。以下是一個詳細的步驟指南:
首先,確保你的系統上安裝了Java。Kafka是用Java編寫的,因此需要Java運行環境。
sudo apt update
sudo apt install openjdk-8-jdk
java -version
驗證Java安裝成功后,可以設置JAVA_HOME
環境變量:
echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> ~/.bashrc
source ~/.bashrc
echo $JAVA_HOME
Kafka依賴于Zookeeper進行集群管理和配置。
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar xvf zookeeper-3.4.6.tar.gz
sudo mv zookeeper-3.4.6 /usr/local/zookeeper
編輯Zookeeper配置文件:
sudo nano /usr/local/zookeeper/conf/zoo.cfg
更新以下配置項:
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
啟動Zookeeper:
sudo /usr/local/zookeeper/bin/zkServer.sh start
驗證Zookeeper是否啟動成功:
sudo netstat -nap | grep 2181
從Apache Kafka官網下載最新版本的Kafka:
wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 /usr/local/kafka
sudo mkdir -p /tmp/kafka-logs
編輯Kafka的配置文件server.properties
:
sudo nano /usr/local/kafka/config/server.properties
更新以下配置項:
log.dirs=/usr/local/kafka/data/kafka
zookeeper.connect=localhost:2181
啟動Kafka服務器:
sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
驗證Kafka是否啟動成功:
sudo netstat -nap | grep 9092
創建一個測試Topic:
sudo /usr/local/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
列出所有Topic以確認新Topic已創建:
sudo /usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
啟動Kafka生產者:
sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
啟動Kafka消費者:
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
在生產者的終端輸入消息后,消費者終端會顯示這些消息,以驗證配置是否成功。
請注意,以上步驟是基于特定版本的Kafka和Zookeeper,具體版本可能有所不同。建議查閱官方文檔以獲取適用于你所使用版本的詳細配置指南。