Filebeat如何自定義日志收集規則

自定義Filebeat日志收集規則主要通過修改配置文件filebeat.yml實現，以下是關鍵配置項及示例：

1. 指定日志路徑
   在filebeat.inputs中通過paths定義需采集的日志文件路徑，支持通配符（如/var/log/*.log）。

   filebeat.inputs:  
   - type: log  
     enabled: true  
     paths:  
       - /var/log/nginx/*.log  
   

2. 過濾日志內容

   • 包含/排除特定行：通過include_lines和exclude_lines配置。

     include_lines: ['^ERROR', '^WARN']  
     exclude_lines: ['^DEBUG']  
     

   • 多行日志合并：通過multiline配置合并多行日志（如Java堆棧跟蹤）。

     multiline:  
       pattern: '^\['  
       negate: true  
       match: after  
     

3. 添加自定義字段
   使用fields或add_fields處理器向日志事件添加元數據。

   processors:  
   - add_fields:  
       fields:  
         environment: production  
         app_id: myapp  
   

4. 日志解析與處理

   • 解析JSON日志：使用decode_json_fields處理器提取JSON字段。

     processors:  
     - decode_json_fields:  
         fields: ["message"]  
         target: ""  
     

   • 提取結構化數據：通過dissect處理器按正則表達式解析非JSON日志。

     processors:  
     - dissect:  
         tokenizer: '%{timestamp} %{loglevel} %{message}'  
         field: "message"  
     

5. 輸出配置
   指定日志發送目標（如Elasticsearch、Logstash），并設置索引名稱等參數。

   output.elasticsearch:  
     hosts: ["localhost:9200"]  
     index: "custom-logs-%{+yyyy.MM.dd}"  
   

6. 高級配置

   • 動態索引模板：通過setup.template配置索引分片、壓縮等參數。
   • 文件狀態管理：通過ignore_older、close_older等參數控制文件保留和關閉策略。

生效步驟：
修改配置后，重啟Filebeat服務使規則生效，并通過日志或監控命令驗證配置正確性。

參考來源：