Kafka在Ubuntu上的高可用性配置

在Ubuntu上配置Kafka的高可用性涉及多個步驟，包括安裝和配置Zookeeper和Kafka，以及設置Kafka集群以確保故障轉移和數據一致性。以下是詳細的步驟：

1. 安裝Zookeeper

首先，確保你已經安裝了Java環境，因為Kafka需要Java運行時環境。

sudo apt update
sudo apt install openjdk-8-jdk
java -version

下載并解壓Zookeeper：

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.15/zookeeper-3.4.15.tar.gz
tar xvf zookeeper-3.4.15.tar.gz
sudo mv zookeeper-3.4.15 /usr/local/zookeeper

配置Zookeeper：

sudo cat > /usr/local/zookeeper/conf/zoo.cfg << EOF
tickTime=2000
dataDir=/usr/local/zookeeper
clientPort=2181
EOF

啟動Zookeeper：

sudo /usr/local/zookeeper/bin/zkServer.sh start

驗證Zookeeper是否啟動成功：

sudo netstat -nap | grep 2181

2. 安裝Kafka

下載并解壓Kafka：

wget https://downloads.apache.org/kafka/2.8.1/kafka_2.13-2.8.1.tgz
tar xvf kafka_2.13-2.8.1.tgz
sudo mv kafka_2.13-2.8.1 /usr/local/kafka

配置Kafka：

編輯/usr/local/kafka/config/server.properties文件，確保以下配置：

listeners=PLAINTEXT://your_kafka_broker_ip:9092
advertised.listeners=PLAINTEXT://your_kafka_broker_ip:9092
zookeeper.connect=localhost:2181
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.segment.bytes=1073741824
log.retention.hours=10
log.retention.check.interval.ms=300000
log.segment.num.files=10

啟動Kafka：

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

3. 配置Kafka集群

在多臺機器上配置Kafka集群，確保每臺機器上的server.properties文件中的broker.id、listeners、advertised.listeners和zookeeper.connect配置不同。

例如，在機器1上：

broker.id=1
listeners=PLAINTEXT://192.168.1.1:9092
advertised.listeners=PLAINTEXT://192.168.1.1:9092
zookeeper.connect=localhost:2181

在機器2上：

broker.id=2
listeners=PLAINTEXT://192.168.1.2:9092
advertised.listeners=PLAINTEXT://192.168.1.2:9092
zookeeper.connect=localhost:2181

在機器3上：

broker.id=3
listeners=PLAINTEXT://192.168.1.3:9092
advertised.listeners=PLAINTEXT://192.168.1.3:9092
zookeeper.connect=localhost:2181

4. 啟動Kafka集群

在每臺機器上啟動Kafka服務：

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

5. 創建Topic

在任意一臺機器上創建一個Topic，并設置replication-factor為集群中的機器數量：

sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test

6. 驗證集群

使用Kafka客戶端工具驗證集群是否正常工作：

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

通過以上步驟，你可以在Ubuntu上配置一個高可用的Kafka集群。確保在生產環境中使用最新版本的Kafka和Zookeeper，并根據實際需求調整配置。