Kafka日志清理在Linux系統上可以通過配置文件server.properties中的參數來實現。以下是一些常用的日志清理策略:
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.segment.bytes的大小,Kafka也會創建一個新的日志段。例如,設置為1表示每小時滾動一次日志。log.roll.hours=1
delete(默認)和compact。delete策略會刪除過期的日志,而compact策略會對日志進行壓縮,保留每個鍵的最新值。log.cleanup.policy=delete
log.cleanup.interval.ms=300000
要修改這些參數,請編輯Kafka安裝目錄下的config/server.properties文件,然后重啟Kafka服務以使更改生效。
sudo systemctl restart kafka
請注意,根據您的需求和系統資源,您可能需要調整這些參數以獲得最佳性能。在生產環境中,請確保充分測試這些設置,以確保它們滿足您的需求。