溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Docker容器怎么搭建Kafka集群

發布時間:2022-03-21 09:14:17 來源:億速云 閱讀:315 作者:iii 欄目:開發技術

本篇內容介紹了“Docker容器怎么搭建Kafka集群”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

一、Kafka集群的搭建

1.拉取相關鏡像

docker pull wurstmeister/kafka
docker pull zookeeper

Docker容器怎么搭建Kafka集群

2.運行zookeeper

docker run -d --name zookeeper -p 2181:2181 -t zookeeper

Docker容器怎么搭建Kafka集群

3.運行kafka

Kafka0:

docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

Kafka1:

docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

Kafka2:

docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

參數說明:

  • -e KAFKA_BROKER_ID=0 在kafka集群中,每個kafka都有一個BROKER_ID來區分自己

  • -e KAFKA_ZOOKEEPER_CONNECT=10.20.8.50:2181/kafka 配置zookeeper管理kafka的路徑10.20.8.50:2181/kafka

  • -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.20.8.50:9092 把kafka的地址端口注冊給zookeeper,如果是遠程訪問要改成外網IP。

  • -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的監聽端口:這個不能改

  • -v /etc/localtime:/etc/localtime 容器時間同步虛擬機的時間

啟動3個Kafka節點

Docker容器怎么搭建Kafka集群

4.設置topic

進入kafka0

docker exec -it kafka0 /bin/bash

進入bin目錄

cd /opt/kafka_2.13-2.8.1/bin

Docker容器怎么搭建Kafka集群

創建topic

kafka-topics.sh --create --zookeeper 192.168.16.129:2181 --replication-factor 3 --partitions 5 --topic TestTopic

查看topic

kafka-topics.sh --describe --zookeeper 192.168.16.129:2181 --topic TestTopic

Kafka的topic所有分區會分散在不同Broker上,所以該topic的5個分區會被分散到3個Broker上,其中有兩個Broker得到兩個分區,另一個Broker只有1個分區,如圖所示:

Docker容器怎么搭建Kafka集群

集群節點說明:

  • Topic: TestTopic PartitionCount: 5 ReplicationFactor:3代表TestTopic有5個分區,3個副本節點;

  • Topic: 代表主題名稱

  • Leader代表主題節點號,

  • Replicas代表他的副本節點有Broker.id = 2、0、1(包括Leader Replica和Follower Replica,且不管是否存活),

  • Isr表示存活并且同步Leader節點的副本有Broker.id = 2、0、1

5.進行生產者和消費者測試

分別在Broker0上運行一個生產者,Broker1、2上分別運行一個消費者:

kafka-console-producer.sh --broker-list 192.168.16.129:9092 --topic TestTopic

kafka-console-consumer.sh --bootstrap-server 192.168.16.129:9093 --topic TestTopic --from-beginning

kafka-console-consumer.sh --bootstrap-server 192.168.16.129:9094 --topic TestTopic --from-beginning

Docker容器怎么搭建Kafka集群

“Docker容器怎么搭建Kafka集群”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女