溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Kafka的核心概念是什么

發布時間:2021-06-24 14:37:48 來源:億速云 閱讀:254 作者:chen 欄目:開發技術

本篇內容介紹了“Kafka的核心概念是什么”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!

1、基礎

Kafka的核心概念是什么

Kafka 是一套流處理系統,可以讓后端服務輕松的相互溝通,是微服務架構中常用的組件。

Kafka的核心概念是什么

2、生產者消費者

生產者服務 Producer 向 Kafka 發送消息,消費者服務 Consumer 監聽 Kafka 接收消息。

Kafka的核心概念是什么

一個服務可以同時為生產者和消費者。

Kafka的核心概念是什么

3、Topics 主題

Topic 是生產者發送消息的目標地址,是消費者的監聽目標。

Kafka的核心概念是什么

一個服務可以監聽、發送多個 Topics。

Kafka的核心概念是什么

Kafka 中有一個【consumer-group(消費者組)】的概念。

這是一組服務,扮演一個消費者。

Kafka的核心概念是什么

如果是消費者組接收消息,Kafka 會把一條消息路由到組中的某一個服務。

Kafka的核心概念是什么

這樣有助于消息的負載均衡,也方便擴展消費者。

Topic 扮演一個消息的隊列。首先,一條消息發送了。

Kafka的核心概念是什么

然后,這條消息被記錄和存儲在這個隊列中,不允許被修改。

Kafka的核心概念是什么

接下來,消息會被發送給此 Topic 的消費者。

但是,這條消息并不會被刪除,會繼續保留在隊列中。

Kafka的核心概念是什么

繼續發送消息。

Kafka的核心概念是什么

像之前一樣,這條消息會發送給消費者、不允許被改動、一直呆在隊列中。(消息在隊列中能呆多久,可以修改 Kafka 的配置)

Kafka的核心概念是什么

Kafka的核心概念是什么

4、Partitions 分區

上面 Topic 的描述中,把 Topic 看做了一個隊列,實際上,一個 Topic 是由多個隊列組成的,被稱為【Partition(分區)】。

這樣可以便于 Topic 的擴展。

Kafka的核心概念是什么

生產者發送消息的時候,這條消息會被路由到此 Topic 中的某一個 Partition。

Kafka的核心概念是什么

消費者監聽的是所有分區并消耗所有人的事件。

Kafka的核心概念是什么

生產者發送消息時,默認是面向 Topic 的,由 Topic 決定放在哪個 Partition,默認使用輪詢策略。

Kafka的核心概念是什么

也可以配置 Topic,讓同類型的消息都在同一個 Partition。

例如,處理用戶消息,可以讓某一個用戶所有消息都在一個 Partition。

例如,用戶 1 發送了 3 條消息:A、B、C,默認情況下,這 3 條消息是在不同的 Partition 中(如 P1、P2、P3)。

在配置之后,可以確保用戶 1 的所有消息都發到同一個分區中(如 P1)。

Kafka的核心概念是什么

這個功能有什么用呢?這是為了提供消息的【有序性】。

消息在不同的 Partition 是不能保證有序的,只有一個 Partition 內的消息是有序的。

Kafka的核心概念是什么

Kafka的核心概念是什么

5、架構

Kafka 是集群架構的,ZooKeeper是重要組件。

Kafka的核心概念是什么

ZooKeeper 管理著所有的 Topic 和 Partition。

Topic 和 Partition 存儲在 Node 物理節點中,ZooKeeper負責維護這些 Node。

Kafka的核心概念是什么

例如,有 2 個 Topic,各自有 2 個 Partition。

Kafka的核心概念是什么

這是邏輯上的形式,但在 Kafka 集群中的實際存儲可能是這樣的:

Kafka的核心概念是什么

Topic A 的 Partition #1 有 3 份,分布在各個 Node 上。

這樣可以增加 Kafka 的可靠性和系統彈性。

3 個 Partition #1 中,ZooKeeper 會指定一個 Leader,負責接收生產者發來的消息。

Kafka的核心概念是什么

其他 2 個 Partition #1 會作為 Follower,Leader 接收到的消息會復制給 Follower。

Kafka的核心概念是什么

這樣,每個 Partition 都含有了全量消息數據。

Kafka的核心概念是什么

即使某個 Node 節點出現了故障,也不用擔心消息的損壞。

Topic A 和 Topic B 的所有 Partition 分布可能就是這樣的:

Kafka的核心概念是什么

“Kafka的核心概念是什么”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女