以下是Ubuntu系統上優化Filebeat性能的關鍵措施:
配置優化
multiline.pattern: '\['
multiline.negate: true
multiline.match: after
multiline.max_lines: 10000
json.keys_under_root: true
json.overwrite_keys: true
filestream
輸入(Filebeat 7.0+),替代老舊log
輸入。內存與隊列優化
queue.type: persisted
queue.max_bytes: 1024mb
flush.min_events: 2048
flush.timeout: 1s
bulk_max_size
,減少網絡請求次數。output.elasticsearch:
bulk_max_size: 2048
compression: true # 啟用壓縮減少傳輸量
并發與資源控制
harvester_limit
控制并行處理的文件數量,避免資源耗盡。harvester_limit: 512
scan_frequency
,減少不必要的磁盤I/O。系統級優化
ulimit -n
提升系統對文件句柄的支持。監控與維護
setup.monitor.enabled: true
監控處理速度、延遲等指標。grok
解析),簡化配置邏輯。參考來源: