在Linux上搭建Kafka測試環境需要以下幾個步驟:
Kafka需要Java運行環境,確保已經安裝了Java??梢允褂靡韵旅顧z查Java是否已安裝:
java -version
如果沒有安裝Java,可以使用以下命令安裝OpenJDK:
在Ubuntu上:
sudo apt update
sudo apt install openjdk-8-jdk
在CentOS上:
sudo yum install java-1.8.0-openjdk-devel
安裝完成后,檢查Java是否安裝成功:
java -version
從Kafka官網下載最新版本的Kafka,然后解壓到指定目錄。例如,下載Kafka 3.5.2版本:
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
解壓Kafka安裝包:
tar -xvzf kafka_2.12-3.5.2.tgz
解壓后,進入解壓得到的文件夾:
cd kafka_2.12-3.5.2
Kafka 2.8.0及以上版本不再依賴外部Zookeeper,但需要配置內部的Zookeeper實例??梢栽?code>config/zookeeper.properties文件中查看和修改Zookeeper的配置。默認配置通常是可以使用的,你可以根據需要進行修改。
編輯Kafka的配置文件config/server.properties
,設置以下參數:
broker.id
: 為每個節點分配一個唯一的ID。listeners
: 設置監聽地址和端口,默認是9092。log.dirs
: 設置日志存儲路徑。例如:
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
編輯系統環境變量文件,例如/etc/profile
,添加以下內容:
export KAFKA_HOME=/path/to/kafka
export PATH=$PATH:$KAFKA_HOME/bin
保存文件并執行以下命令使環境變量生效:
source /etc/profile
首先啟動Zookeeper服務:
bin/zookeeper-server-start.sh config/zookeeper.properties
然后在另一個終端中啟動Kafka服務:
bin/kafka-server-start.sh config/server.properties
創建一個名為test-topic
的主題:
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
查看已創建的主題:
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
啟動生產者向主題發送消息:
bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
啟動消費者從主題讀取消息:
bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092
切換到生產者啟動頁面,發送數據,消費者能正常接收數據,表示搭建成功。