在Ubuntu上部署Apache Kafka的步驟如下:
首先,確保你的系統上安裝了JDK。你可以使用以下命令來安裝OpenJDK 8:
sudo apt update
sudo apt install openjdk-8-jdk
安裝完成后,驗證Java是否正確安裝:
java -version
Kafka依賴于Zookeeper,因此你需要先安裝Zookeeper。你可以從Apache官網下載Zookeeper的安裝包,并使用以下命令進行安裝:
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar xvf zookeeper-3.4.6.tar.gz
sudo mv zookeeper-3.4.6 /usr/local/zookeeper
接下來,配置Zookeeper:
sudo cat > /usr/local/zookeeper/conf/zoo.cfg << EOF
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
EOF
啟動Zookeeper服務:
sudo /usr/local/zookeeper/bin/zkServer.sh start
驗證Zookeeper是否啟動成功:
sudo netstat -nap | grep 2181
下載Kafka安裝包,你可以從Apache Kafka官網下載最新版本的Kafka:
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /usr/local/kafka
配置Kafka:
cd /usr/local/kafka
sudo mkdir /tmp/kafka-logs
編輯Kafka的配置文件server.properties
:
sudo nano /usr/local/kafka/config/server.properties
確保以下配置項正確設置:
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181
啟動Kafka服務:
sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
驗證Kafka是否啟動成功:
sudo netstat -nap | grep 9092
創建一個名為test
的Topic:
sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
列出所有Topic以確認新Topic已創建:
sudo /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
使用Kafka控制臺生產者發送消息:
sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
使用Kafka控制臺消費者消費消息:
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
如果你需要部署一個Kafka集群,可以復制Kafka目錄并修改每個副本的server.properties
文件,確保broker.id
和listeners
等配置項不同。然后分別啟動每個Kafka實例。