以下是Debian系統下Kafka日志管理的核心技巧:
配置日志存儲與分段
log.dirs
指定日志存儲目錄,log.segment.bytes
設置分段大?。J1GB)。log.roll.hours
/log.roll.ms
控制分段滾動周期(默認7天)。日志清理策略
log.retention.hours
/log.retention.bytes
設置保留時間或大小,超限時自動刪除。log.cleaner.enable=true
,并設置log.cleanup.policy=compact
保留每個Key最新消息,節省空間。使用工具自動化管理
/etc/logrotate.d/kafka
實現日志輪轉、壓縮(如daily rotate 7 compress
),避免手動清理。crontab
編寫腳本,定期刪除過期日志(如find /path -mtime +7 -delete
)。監控與報警
日志查看與分析
kafka-dump-log.sh
腳本查看.log
、.index
等文件內容,輔助排查問題。關鍵參數參考:
log.dirs=/var/log/kafka
log.retention.hours=168
(7天)log.cleanup.policy=compact
+log.cleaner.enable=true