Kafka 日志分割是通過日志段(log segments)來實現的。每個日志段包含一定數量的消息,并且有一個索引文件來跟蹤這些消息的位置。以下是 Kafka 日志分割的實現細節:
log.segment.bytes
配置的大?。J1GB)時,會創建新段。log.roll.ms
或 log.roll.hours
(默認7天)配置,即使未達大小限制也會創建新段。log.retention.hours
或 log.retention.minutes
參數,Kafka 會自動刪除超過設定時間的日志段。log.retention.bytes
參數,Kafka 會自動刪除超過設定大小的日志段。log.segment.bytes
:單個日志段的最大大小,默認1GB。log.roll.hours
:創建新日志段的時間間隔,默認7天。log.retention.hours
:日志保留時間,默認7天。log.retention.bytes
:分區日志總大小限制,默認無限。通過上述配置和策略,Kafka能夠高效地存儲和管理大量的消息,同時提供高吞吐量和可靠性。