在Ubuntu上配置Kafka集群涉及多個步驟，包括安裝Java環境、Zookeeper、Kafka，配置Kafka Broker，以及啟動和驗證Kafka集群。以下是詳細的步驟：
首先，確保你的系統上已經安裝了Java。你可以使用以下命令來安裝OpenJDK 8：
sudo apt update
sudo apt install openjdk-8-jdk -y
安裝完成后，驗證Java是否安裝成功：
java -version
Kafka需要Zookeeper來管理集群的元數據。你可以從Apache官網下載Zookeeper的安裝包，并解壓到指定目錄。
wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz
tar -xzvf zookeeper-3.8.0.tar.gz
sudo mv zookeeper-3.8.0 /usr/local/zookeeper
配置Zookeeper：
sudo cp /usr/local/zookeeper/conf/zoo.cfg /usr/local/zookeeper/conf/zoo.cfg.samples
sudo vi /usr/local/zookeeper/conf/zoo.cfg
在 zoo.cfg 文件中，確保以下配置正確：
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
啟動Zookeeper：
sudo /usr/local/zookeeper/bin/zkServer.sh start
驗證Zookeeper是否啟動成功：
netstat -nap | grep 2181
下載Kafka的安裝包，并解壓到你想要的目錄。例如，下載Kafka 3.5.2版本：
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzvf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /usr/local/kafka
配置Kafka：
cd /usr/local/kafka
sudo cp config/server.properties config/server.properties.samples
sudo vi config/server.properties
在 server.properties 文件中，確保以下配置正確：
broker.id=0
listeners=PLAINTEXT://:9092
zookeeper.connect=localhost:2181
log.dirs=/tmp/kafka-logs
啟動Kafka服務器：
sudo /usr/local/kafka/bin/kafka-server-start.sh config/server.properties
驗證Kafka是否啟動成功：
netstat -tulnp | grep 9092
你應該能看到類似以下的輸出，表示Kafka服務器正在監聽9092端口：
tcp6 0 0 :::9092 :::* LISTEN 1234 /usr/local/kafka/bin/java -Djava.security.egd=file:/dev/./urandom -jar /usr/local/kafka/bin/kafka-server-start.sh ...
創建一個測試Topic：
sudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
列出所有Topic以確認新Topic已創建：
sudo /usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
啟動生產者發送消息：
sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
在生產者終端輸入消息后按Ctrl+D結束輸入。
消費者接收消息：
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
在消費者終端中，你應該能看到從生產者發送的消息。
如果你需要部署一個Kafka集群，需要在多臺服務器上重復上述步驟，并確保每臺服務器的 broker.id 不同。同時，所有機器的 zookeeper.connect 配置應指向集群中其他機器的Zookeeper地址。
例如，在服務器1上：
/usr/local/kafka/bin/kafka-storage.sh random-uuid
在其他服務器上使用相同的集群ID啟動Kafka服務：
/usr/local/kafka/bin/kafka-server-start.sh config/server.properties
Kafka Manager是一個開源的Kafka集群管理工具，可以用于監控和管理Kafka集群。以下是安裝和配置Kafka Manager的步驟：
echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-get update
sudo apt-get install sbt
git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
sbt clean dist
cd target/universal
unzip kafka-manager-1.3.3.16.zip -d /home/randy/workspace02
cd /home/randy/workspace02/kafka-manager-1.3.3.16
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9001 &
配置Kafka Manager并進行集群配置。
以上步驟涵蓋了在Ubuntu上配置Kafka集群的基本流程。根據實際需求，你可能還需要進行更多的配置和優化。
