在Linux上配置Kafka消息持久化,需要修改Kafka的配置文件server.properties
。以下是一些關鍵配置項及其說明:
log.dirs
指定Kafka日志文件的存儲目錄??梢栽O置多個目錄,Kafka會將日志文件分散存儲在這些目錄中,以提高性能和可靠性。
log.dirs=/path/to/kafka-logs1,/path/to/kafka-logs2
log.retention.hours
設置日志文件的保留時間。Kafka會根據這個配置自動刪除過期的日志文件。
log.retention.hours=168 # 一周
log.segment.bytes
設置每個日志段的大小。當日志文件達到這個大小時,Kafka會創建一個新的日志段。
log.segment.bytes=1073741824 # 1GB
log.retention.check.interval.ms
設置檢查日志保留時間的間隔時間。
log.retention.check.interval.ms=300000 # 5分鐘
log.flush.interval.messages
設置消息刷新到磁盤的頻率。Kafka會定期將內存中的消息刷新到磁盤。
log.flush.interval.messages=10000 # 每10000條消息刷新一次
log.flush.interval.ms
設置消息刷新到磁盤的時間間隔。Kafka會定期將內存中的消息刷新到磁盤。
log.flush.interval.ms=1000 # 每秒刷新一次
log.message.timestamp.type
設置消息的時間戳類型??梢赃x擇CreateTime
(創建時間)或LogAppendTime
(追加時間)。
log.message.timestamp.type=CreateTime
log.cleanup.policy
設置日志清理策略。常用的策略有delete
(刪除過期日志)和compact
(壓縮日志)。
log.cleanup.policy=delete
log.cleanup.interval.ms
設置日志清理的間隔時間。
log.cleanup.interval.ms=3600000 # 每小時清理一次
log.dirs
的權限確保Kafka進程有權限寫入指定的日志目錄。
sudo chown -R kafka:kafka /path/to/kafka-logs1
sudo chown -R kafka:kafka /path/to/kafka-logs2
以下是一個示例的server.properties
文件:
# The directory under which the log files are stored.
# Refer to the note below about log.dirs.
log.dirs=/path/to/kafka-logs1,/path/to/kafka-logs2
# The retention period of the log files.
# The log files will be truncated after this period.
log.retention.hours=168
# The size of the log segments.
# When this size is reached, a new log segment will be created.
log.segment.bytes=1073741824
# The interval at which log retention is checked.
log.retention.check.interval.ms=300000
# The interval at which messages are flushed to disk.
log.flush.interval.messages=10000
log.flush.interval.ms=1000
# The type of timestamp to use for messages.
log.message.timestamp.type=CreateTime
# The policy to use for log cleanup.
log.cleanup.policy=delete
# The interval at which log cleanup is performed.
log.cleanup.interval.ms=3600000
通過以上配置,可以在Linux上實現Kafka消息的持久化存儲。