Kafka的ISR（In-Sync Replicas，同步副本）機制是確保數據一致性和高可用性的關鍵組成部分。以下是ISR機制的詳細運作過程：
-
副本狀態：
- Kafka中的每個Topic都可以配置多個副本，這些副本分布在不同的Broker上。
- 副本有兩種狀態：跟隨者（Follower）和領導者（Leader）。
- Leader負責處理所有讀寫請求，并將日志條目復制到所有跟隨者。
- Follower復制Leader的日志條目，但并不處理請求。
-
ISR集合：
- Kafka通過ISR機制來確保只有同步副本參與消息的復制和確認。
- ISR集合包含當前與Leader保持同步的所有Follower副本。
-
ISR的創建和更新：
- 當一個新的Follower啟動并開始從Leader復制數據時，它會在本地維護一個日志索引。
- Kafka會定期檢查Follower的日志索引是否與Leader的日志索引相匹配。如果相匹配，Follower就被認為是同步副本，并被添加到ISR集合中。
- 如果Follower落后Leader超過一定閾值（由
replica.lag.time.max.ms配置），它將被從ISR中移除。此時，Kafka會觸發故障轉移，選擇一個當前的Follower成為新的Leader。
-
數據一致性和可靠性：
- 由于ISR集合中的所有副本都同步復制了Leader的日志條目，因此從Kafka集群中讀取的數據是一致的。
- 如果Leader發生故障，Kafka會迅速從ISR中選擇一個新的Leader，以確保服務的連續性和數據的可用性。
-
ISR的監控和維護：
- Kafka客戶端會定期向Kafka集群發送心跳請求，以檢查其與各個副本的連接狀態。
- Kafka集群會監控ISR集合的大小和狀態，并在必要時自動觸發故障轉移和重新平衡操作。
-
故障轉移：
- 當Leader不可用時，Kafka會觸發故障轉移過程。這個過程包括選擇一個當前的Follower作為新的Leader，并重新配置其他Follower作為跟隨者。
- 在故障轉移期間，Kafka會確保新舊Leader的日志保持一致，以便在故障恢復后能夠無縫地繼續處理請求。
通過ISR機制，Kafka能夠實現高吞吐量的消息處理、低延遲的數據傳輸以及強大的容錯能力。
