Kafka是一個分布式流處理平臺，其存儲結構和數據清理策略對于維持系統的性能和穩定性至關重要。以下是Kafka的存儲結構以及數據清理策略：
存儲結構
- Topic：消息被組織成主題，每個主題可以被進一步劃分為多個分區。
- Partition：每個主題的分區是有序的，并且分布在不同的broker上，確保了水平擴展性和負載均衡。
- Segment：日志被分割成段，每個段包含一個或多個消息。每個段文件都有一個索引文件，以便快速定位和讀取。
- Index File：索引文件存儲了消息偏移量和對應消息在日志文件中的物理位置的映射關系，提高了消息查詢的效率。
數據清理策略
- 基于時間的清理：刪除修改時間在指定天數之前的日志。
- 基于大小的清理：保留最后的N GB數據，并刪除舊的數據。
- 日志壓縮：針對每個消息的key進行整合，對于有相同key的不同的value值，只保留最后一個版本。
數據清理機制
- 日志段和消息保留策略：Kafka將數據以日志段的形式進行存儲，每個主題分區都由多個日志段組成。每個日志段都有一個開始偏移量和一個結束偏移量，表示該日志段中包含的消息范圍。當一個日志段中的消息都被消費完畢后，該日志段就可以被刪除。
- 配置參數：Kafka提供了靈活的配置參數，如
log.retention.hours（消息保留的時間，默認168小時，即7天）和log.retention.bytes（topic partition中最多保留的消息大小，默認無限制），以控制數據的保留時間。
通過上述存儲結構和數據清理策略，Kafka能夠有效地管理大量數據，確保數據的高效存儲和快速訪問。
