Ubuntu Kafka集群如何搭建與配置

搭建和配置Ubuntu上的Kafka集群需要以下幾個步驟：

1. 安裝JDK

首先，需要在每臺服務器上安裝JDK。

# 解壓tar
tar -zxvf jdk-8u341-linux-x64.tar.gz
# 移動目錄
mv jdk1.8.0_341 /usr/local/java
# 配置環境變量
vim /etc/profile
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# 生效環境變量
source /etc/profile

2. 安裝ZooKeeper

在每臺服務器上安裝ZooKeeper。

# 下載并安裝ZooKeeper
cd /soft
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
mv apache-zookeeper-3.8.4-bin /usr/local/zookeeper
# 設置環境變量
vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
# 生效環境變量
source /etc/profile
# 修改zoo.cfg文件
cd /usr/local/zookeeper/config
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 設置集群節點
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181
dataLogDir=/data/zookeeper/log
server.1=192.168.124.171:2888:3888
server.2=192.168.124.172:2888:3888
server.3=192.168.124.173:2888:3888
# 創建目錄和myid
mkdir -p /data/zookeeper/data
echo 1 > /data/zookeeper/data/myid

3. 啟動ZooKeeper

在每臺服務器上啟動ZooKeeper。

./bin/zookeeper-server-start.sh config/zookeeper.properties &

4. 啟動Kafka

在每臺服務器上啟動Kafka。

./bin/kafka-server-start.sh config/server.properties &

5. 創建Kafka Topic

創建一個名為’test’的Topic。

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

6. 驗證安裝

創建消息的生產者和消費者來驗證安裝是否成功。

# 創建消息的生產者
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 輸入消息
> this is the first message sent via Kafka
> this is the second message sent via Kafka
# 創建消息的消費者
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

通過以上步驟，你就可以在Ubuntu上成功搭建和配置一個Kafka集群。