以下是Debian系統下Filebeat的性能調優方法:
queue.mem.events
:設置內存隊列事件數(如2048,平衡內存與吞吐量)。queue.mem.flush.min_events
:減少刷盤等待事件數(如1536),提升實時性。filestream
輸入類型(7.0+版本推薦),替代老舊log
類型。ignore_older
忽略舊文件(如48h),減少無效掃描。scan_frequency
降低文件掃描頻率,減輕CPU負載。bulk_max_size
(如2048),增大每次批量發送數據量,減少網絡開銷。sudo sysctl -w net.core.rmem_max=16777216
。/etc/security/limits.conf
,增加nofile
值。file_input
使用內存映射文件,減少磁盤I/O。max_file_size
和scan_frequency
合理分配資源,避免單文件處理阻塞。compression: gzip
),減少網絡帶寬占用。grok
或json
解析,直接發送原始日志。參考來源: