Kafka中怎么保證消息不丟失重復，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。
消費端重復消費：
建立去重表
消費端丟失數據：
關閉自動提交offset，處理完之后受到移位
生產端重復發送：
這個不重要，消費端消費之前從去重表中判重就可以
生產端丟失數據：
1、異步方式緩沖區滿了，就阻塞在那，等著緩沖區可用，不能清空緩沖區
2、發送消息之后回調函數，發送成功就發送下一條，
發送失敗就記在日志里，等著定時腳本（定時器）來掃描
（發送失敗可能并不真的發送失敗，只是沒收到反饋，定時腳本可能會重發）
解決策略:
如何保證有序（同步發送能保證順序）：
同步發送模式：發出消息后，必須阻塞等待收到通知后，才發送下一條消息
異步發送模式：一直往緩沖區寫，然后一把寫到隊列中去
兩者都是各有利弊：
同步發送模式雖然吞吐量小，但是發一條收到確認后再發下一條，既能保證不丟失消息，又能保證順序
kafka數據丟失原因：
有3種狀態（0（不需要等待確認）、1（leader確認）、-1（all確認））保證消息被安全生產，
在配置狀態為1（只保證寫入leader成功的話），如果剛好leader partition掛了，數據就會丟失
使用異步模式的時候，當緩存區滿了，
如果配置狀態為0（還沒收到確認的情況下，緩沖池一滿，就清空緩沖池里的消息），數據就會被立馬丟棄掉
如果配置狀態為-1
由于ISR可能會縮小到僅包含一個Replica，所以設置參數為all并不能一定避免數據丟失
在數據生產時避免數據丟失的方法：
只要能避免上述兩種情況，那么就可以保證消息不會被丟失。
看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
