Apache Kafka是一個分布式流處理平臺,廣泛用于高吞吐量、可持久化、可水平擴展的消息系統。在Ubuntu上安裝和應用Kafka可以分為以下幾個步驟:
Kafka需要Java環境,因此首先需要安裝Java??梢酝ㄟ^以下命令安裝OpenJDK 11:
sudo apt update
sudo apt install openjdk-11-jdk -y
然后檢查Java版本:
java -version
訪問Apache Kafka官網下載最新版本的Kafka,或者使用wget命令直接下載。例如,下載Kafka 3.5.1版本:
wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz
解壓Kafka壓縮包:
tar -xzf kafka_2.13-3.5.1.tgz
建議將Kafka移動到/usr/local
目錄下:
sudo mv kafka_2.13-3.5.1 /usr/local/kafka
為了方便使用,可以設置環境變量:
echo 'export KAFKA_HOME=/usr/local/kafka' >> ~/.bashrc
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
source ~/.bashrc
Kafka使用ZooKeeper來維護集群元數據,因此需要先啟動ZooKeeper:
sudo /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
啟動Kafka服務:
sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
使用以下命令創建一個Kafka Topic:
kafka-topics.sh --create --topic test-topic --zookeeper localhost:2181 --partitions 1 --replication-factor 1
列出所有的Kafka Topics:
kafka-topics.sh --list --zookeeper localhost:2181
停止Kafka和ZooKeeper服務:
sudo /usr/local/kafka/bin/kafka-server-stop.sh
sudo /usr/local/kafka/bin/zookeeper-server-stop.sh
以上步驟提供了一個基本的指南來在Ubuntu系統上安裝和啟動Apache Kafka。確保在安裝過程中,你已經滿足了所有環境要求,包括安裝了正確版本的Java和ZooKeeper。