如何自定義CentOS上Filebeat的監控指標

在CentOS上自定義Filebeat的監控指標，可以通過修改Filebeat的配置文件和添加自定義腳本的方式來實現。以下是具體的步驟：

1. 修改Filebeat配置文件

Filebeat的配置文件通常位于 /etc/filebeat/filebeat.yml。你可以在這個文件中添加或修改一些參數來定制監控指標。

示例：添加自定義日志字段

假設你想監控某個特定的日志字段 custom_field，可以在 processors 部分添加一個 dissect 處理器來解析這個字段。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/myapp/*.log

processors:
- dissect:
    tokenizer: '%{timestamp} %{log_level} %{message}'
    field: 'message'
    target_prefix: ''
    keep_fields: ['custom_field']

fields:
  custom_field: "default_value"

output.elasticsearch:
  hosts: ["localhost:9200"]

2. 添加自定義腳本

如果你需要更復雜的監控指標，可以編寫自定義腳本來處理日志數據，并將結果發送到Elasticsearch或其他監控系統。

示例：使用Python腳本處理日志

1. 編寫Python腳本

   創建一個Python腳本 process_logs.py，用于解析日志并提取自定義字段。

   import re
   import sys
   from elasticsearch import Elasticsearch
   
   es = Elasticsearch(["localhost:9200"])
   
   def process_log_line(line):
       pattern = r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\w+) (.*) custom_field=(\w+)'
       match = re.match(pattern, line)
       if match:
           timestamp, log_level, message, custom_field = match.groups()
           return {
               "timestamp": timestamp,
               "log_level": log_level,
               "message": message,
               "custom_field": custom_field
           }
       return None
   
   for line in sys.stdin:
       log_data = process_log_line(line)
       if log_data:
           es.index(index="filebeat-custom", body=log_data)
   

2. 修改Filebeat配置文件

   在 filebeat.yml 中添加一個 script 處理器，調用你編寫的Python腳本。

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /var/log/myapp/*.log
   
   processors:
   - script:
       lang: python
       id: process_logs
       source: |
         import sys
         from elasticsearch import Elasticsearch
   
         es = Elasticsearch(["localhost:9200"])
   
         def process_log_line(line):
             pattern = r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\w+) (.*) custom_field=(\w+)'
             match = re.match(pattern, line)
             if match:
                 timestamp, log_level, message, custom_field = match.groups()
                 return {
                     "timestamp": timestamp,
                     "log_level": log_level,
                     "message": message,
                     "custom_field": custom_field
                 }
             return None
   
         for line in sys.stdin:
             log_data = process_log_line(line)
             if log_data:
                 es.index(index="filebeat-custom", body=log_data)
   
   output.elasticsearch:
     hosts: ["localhost:9200"]
   

3. 重啟Filebeat服務

修改配置文件后，重啟Filebeat服務以應用更改。

sudo systemctl restart filebeat

4. 驗證自定義指標

你可以通過Kibana或其他Elasticsearch客戶端工具來驗證自定義指標是否已經成功發送到Elasticsearch。

通過以上步驟，你可以在CentOS上自定義Filebeat的監控指標，并將其發送到Elasticsearch進行進一步的分析和可視化。